CN107315540A - 一种自动分层存储方法及系统 - Google Patents

一种自动分层存储方法及系统 Download PDF

Info

Publication number
CN107315540A
CN107315540A CN201710444472.XA CN201710444472A CN107315540A CN 107315540 A CN107315540 A CN 107315540A CN 201710444472 A CN201710444472 A CN 201710444472A CN 107315540 A CN107315540 A CN 107315540A
Authority
CN
China
Prior art keywords
data slice
time
spa
data
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710444472.XA
Other languages
English (en)
Other versions
CN107315540B (zh
Inventor
高华龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhou Yunke (Beijing) Technology Co.,Ltd.
Original Assignee
Shenzhen Science And Technology Co Ltd Digital Cloud Data
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Science And Technology Co Ltd Digital Cloud Data filed Critical Shenzhen Science And Technology Co Ltd Digital Cloud Data
Priority to CN201710444472.XA priority Critical patent/CN107315540B/zh
Publication of CN107315540A publication Critical patent/CN107315540A/zh
Application granted granted Critical
Publication of CN107315540B publication Critical patent/CN107315540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0611Improving I/O performance in relation to response time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种自动分层存储方法及系统。其中,所述方法包括到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。本发明实施例通过查找低速存储区具有周期性访问规律的数据片,并在预计换入时间转移存储至高速存储区,将具有周期性访问规律的数据片判定为热数据,解决了数据热度的辨识难点,更有利于数据迁移的合理预判,并可实现提前将周期性访问的数据从慢速存储区转移存储至高速存储区,从而避免数据访问时迁移带来的时延。

Description

一种自动分层存储方法及系统
技术领域
本发明实施例涉及存储技术领域,具体为一种自动分层存储方法及系统。
背景技术
混合存储系统中,自动分层技术能够在同一阵列的不同类型介质间迁移数据,如将数据从低速存储区迁移到高速存储区或者将数据从高速存储区迁移到低速存储区。
自动分层技术提出的背景是:数据在创建后随着时间推移价值会逐步降低,数据主要在其创建后的72小时内被访问,在此之后访问量会骤然减少,访问频率越来越低,30天以后数据只会被偶尔访问,在这时,数据就成了“被动数据”或“冷数据”。随着数据价值的降低,这些“冷数据”应当迁移到低速、低成本的存储层上,降低存储成本;而将正在处理的“热数据”搬移到高速存储层进行处理,以提高数据的处理效率。现有自动分层技术只依据最近访问时间来判别热度,对于周期性访问的数据,当进行访问时,将数据迁移入高速存储区;当数据不被访问时,可能又被迁移出高速存储区,下次访问时又被迁移入高速存储区,因此会发生数据的频繁迁移,造成处理器资源的巨大浪费。
因此,提供一种具有合理热度评判标准的自动分层存储系统成为重要的研究课题。
发明内容
为解决混合存储系统中周期性数据频繁迁移的问题,本发明实施例提供一种自动分层存储方法及系统。
第一方面,本发明实施例提供一种自动分层存储方法。所述方法包括到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
第二方面,本发明实施例提供一种自动分层存储系统。所述系统包括换入单元,所述换入单元用于到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
第三方面,本发明实施例提供一种计算机设备,所述设备包括存储器和处理器,所述处理器和所述存储器通过总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如下方法:到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时能够执行如下方法:到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
本发明实施例通过查找低速存储区具有周期性访问规律的数据片,并在预计换入时间转移存储至高速存储区,将具有周期性访问规律的数据片判定为热数据,解决了数据热度的辨识难点,更有利于数据迁移的合理预判,并可实现提前将周期性访问的数据从慢速存储区转移存储至高速存储区,从而避免数据访问时迁移带来的时延。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种自动分层存储方法流程图;
图2为本发明实施例提供的一种自动分层存储系统的结构示意图;
图3为本发明又一实施例提供的一种自动分层存储系统的结构示意图;
图4是本发明再一实施例提供的计算机设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种自动分层存储方法流程图。如图1所示,该方法包括:
步骤101、到达预设考量时间;
步骤102、判断低速存储区是否存储有具有周期性访问规律的数据片;若判断获知低速存储区存储有具有周期性访问规律的数据片,则执行步骤103;若判断获知低速存储区没有存储有具有周期性访问规律的数据片,则执行步骤104;
步骤103、将所述数据片在预计换入时间转移存储至高速存储区;
步骤104、结束。
在系统初始化阶段,自动分层存储系统会将系统内的所有硬盘,如按照高速的固态硬盘(Solid State Drives,SSD)与低速的硬盘驱动器(Hard Driver Disk,HDD)的分组方式,分别组织成两个数据存储区,分别为高速存储区与低速存储区。每个存储区是由一个个大小相同(4MB-1GB的存储容量)的块组成,每个存储区上存储的整个数据称为数据片(简称为slice),对数据片进行读写操作,也称作对数据片进行访问。自动分层存储系统可实现对数据片在不同存储介质间如SSD和HDD间迁移。
本发明实施例中的预设考量时间可人为设定,如设定为每小时的整点为考量时间,当到达预设考量时间时,自动分层存储系统判断低速存储区是否存储有具有周期性访问规律的数据片,所述周期性访问规律通过每个数据片的历史访问时间进行判断,如果低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区,然后结束,所述预计换入时间是预计的下个周期所述数据片被访问的时间;如果低速存储区没有存储有具有周期性访问规律的数据片,则结束。
如设定每小时的整点为考量时间,当9:00时,自动分层系统根据低速存储区上存储的数据片的历史访问时间判断是否具有周期性访问规律的数据片,如判断获知数据片slice1的访问时间具有周期性,如最近访问时间为1:05、2:10、3:06、4:10、5:08、6:00、7:10、8:05、8:58、10:08,则估计预计换入时间,即预计的下个周期所述数据片slice1被访问的时间,如预计换入时间为11:00,则在预计换入时间11:00将所述数据片slice1转移存储至高速存储区;如判断获知数据片slice2的访问时间也具有周期性,如最近访问时间为1:05、3:10、5:06、7:10、9:08、11:00、13:10、15:05、16:58、19:08,则估计预计换入时间,即预计的下个周期所述数据片slice2被访问的时间,如预计换入时间为21:00,则在预计换入时间21:00将所述数据片slice2转移存储至高速存储区;如未查找到其他具有周期性访问规律的数据片,则结束。如设定每小时的整点为考量时间,当9:00时,自动分层系统根据低速存储区上存储的数据片的历史访问时间判断是否具有周期性访问规律的数据片,若经判断获知没有具有周期性访问规律的数据片,则结束。
本发明实施例通过查找低速存储区具有周期性访问规律的数据片,并在预计换入时间转移存储至高速存储区,将具有周期性访问规律的数据片判定为热数据,解决了数据热度的辨识难点,更有利于数据迁移的合理预判,并可实现提前将周期性访问的数据从慢速存储区转移存储至高速存储区,从而避免数据访问时迁移带来的时延。
进一步地,基于上述实施例,所述方法还包括:若判断获知所述高速存储区的存储量超过阈值,则根据预设规则获取目标数据片,并将所述目标数据片由所述高速存储区转移存储至所述低速存储区。
当所述考量时间到达时,自动分层存储系统查找到低速存储区具有周期性访问规律的数据片,则需要在预计换入时间将所述数据片转移存储至高速存储区。如果在预计换入时间所述高速存储区的存储量超过阈值,则所述数据片无法转移存储至高速存储区。这时,自动分层存储系统若判断获知所述高速存储区的存储量超过阈值,则根据预设规则获取目标数据片,并将所述目标数据片由所述高速存储区转移存储至所述低速存储区。
同样,当用户读写数据时,如果发生用户读写的数据片处于低速存储区,这时也需要将所述数据片转移存储至高速存储区。如果此时所述高速存储区的存储量超过阈值,则所述数据片无法转移存储至高速存储区。这时,自动分层存储系统若判断获知所述高速存储区的存储量超过阈值,则根据预设规则获取目标数据片,并将所述目标数据片由所述高速存储区转移存储至所述低速存储区。
其中,所述预设规则可以按照数据片的访问时间,将最久未被访问的数据片由所述高速存储区转移存储至所述低速存储区,也可以为其他预设规则。
在上述实施例的基础上,本发明实施例通过判断获知高速存储区的存储量超过阈值时,根据预设规则获取目标数据片并转移存储至低速存储区,释放了高速存储区的存储空间,保障了热数据由低速存储区转移存储至高速存储区。
进一步地,基于上述实施例,所述方法还包括更新周期性列表的步骤,具体包括:记录所述数据片的访问时间,并得到特征访问时间,所述特征访问时间为所设时间间隔内根据设定规则选定的一个所述访问时间;若通过计算所述数据片最近预设个数的特征访问时间的差值列表判断获知所述特征访问时间呈现周期性,则将所述数据片加入所述周期性列表。
自动分层存储系统会保存所有数据片的最近访问时间,并按时间顺序排序成一个队列。每个数据片中会保留最近预设个数的特征访问时间。特征访问时间为所设时间间隔内根据设定规则选定的一个所述访问时间,如所设时间间隔为1小时,则18:00至18:59的访问时间都将记录成一个时间,称为特征访问时间,如为18:00。每个数据片中会保留最近预设个数的特征访问时间,并计算最近预设个数的特征访问时间的差值列表,通过所述差值列表判断最近预设个数的特征访问时间是否大体呈现等差特性。如果判断获知最近预设个数的特征访问时间大体呈现等差特性,则将所述数据片加入周期性列表。所述周期性列表用于表征加入所述周期性列表的数据片具有周期性访问规律。当到达预设考量时间,若判断获知低速存储区存储有加入周期性列表的数据片,说明低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
其中,判断最近预设个数如n个特征访问时间大体呈现等差特性的方法为:将预设个数的特征访问时间按顺序做差,得到差值列表,所述差值列表包括n-1个差值,若这n-1个差值中最大值与最小值之间的差值小于所设定的松弛粒度,则为大体等差。其中,所述松弛粒度为一时间量,与所述特征访问时间同一数量级。为了去除偶然访问造成的干扰,当初次计算不满足大体等差时,会去掉最大差值和最小差值再进行第二次计算。如果经第二次计算满足大体等差,则仍认为所述n个特征访问时间大体呈现等差特性。
假设预设个数为10,松弛粒度为4小时。如数据片slice3的最近10个特征访问时间的差值列表为:{8,7,7,9,6,7,8,6,6},则最大值与最小值之间的差值为9-6=3<4,则认为所述最近10个特征访问时间大体呈现等差特性,则将数据片slice3加入周期性列表。如数据片slice4的最近10个特征访问时间的差值列表为:{8,7,7,50,6,7,8,6,1},则最大值与最小值之间的差值为50-1=49>4,不满足大体等差,则去掉最大值50和最小值1之后得到新的差值列表{8,7,7,6,7,8,6}进行第二次计算,最大值与最小值之间的差值为8-6=2<4,则仍认为数据片slice4的最近10个特征访问时间大体呈现等差特性,则将数据片slice4加入周期性列表。如数据片slice5的最近10个特征访问时间的差值列表为:{8,25,7,50,6,7,8,6,1},则最大值与最小值之间的差值为50-1=49>4,不满足大体等差,则去掉最大值50和最小值1之后得到新的差值列表{8,25,7,6,7,8,6}进行第二次计算,最大值与最小值之间的差值为25-6=19>4,则认为数据片slice5的最近10个特征访问时间没有大体呈现等差特性,不将数据片slice5加入周期性列表。当到达考量时间,判断获知低速存储区存储有加入周期性列表的数据片slice3和slice4,则将所述数据片slice3和slice4在预计换入时间转移存储至高速存储区。
在上述实施例的基础上,本发明实施例通过更新周期性列表,将具有周期性访问规律的数据片加入周期性列表,实现了数据片的周期性访问规律的快速判定。
进一步地,基于上述实施例,所述预计换入时间通过所述差值列表和所述特征访问时间计算得到。
所述预计换入时间是预计的下个周期所述数据片被访问的时间。需要根据访问周期和上一访问时间确定。由于考量时间一般是整点,特征访问时间一般也为整点,由差值列表获取的访问周期也为整数值,因此,本发明实施例所述预计换入时间通过所述差值列表和所述特征访问时间计算得到。这样获得的预计换入时间也为整点,可实现在考量时间实现数据片的迁移。
具体地,所述预计换入时间的计算方法为:首先得到最近预设个数的特征访问时间的差值列表,然后去掉最大值和最小值,若判断获知差值列表中最后一个差值为去掉的最小值,则选择所述最小值对应的前一特征访问时间为基准时间,所述基准时间加上所述松弛粒度即为预计换入时间;若判断获知差值列表中最后一个差值不是去掉的最小值,则选择所述最后一个差值的后一特征访问时间为基准时间,所述基准时间加上所述松弛粒度即为预计换入时间。
假设预设个数为10,松弛粒度为4。如数据片的最近10个特征访问时间的差值列表为:{8,7,7,50,6,7,8,6,1},最后差值1为去掉的最小值,如果差值1对应的两个特征访问时间按时间顺序依次为11:00、12:00,则认为12:00的特征访问时间发生的数据访问具有偶然性,选择11:00作为基准时间,所述基准时间11:00加上松弛粒度4小时,则预计换入时间为15:00。如数据片的最近10个特征访问时间的差值列表为:{8,7,7,50,6,7,1,6,8},最后差值8不是去掉的最小值,如果差值8对应的两个特征访问时间按时间顺序依次为11:00、12:00,则选择12:00作为基准时间,所述基准时间12:00加上松弛粒度4小时,则预计换入时间为16:00。
在上述实施例的基础上,本发明实施例通过差值列表和特征访问时间计算得到预计换入时间,实现了将低速存储区存储的具有周期性访问规律的数据片在合理的时间转移存储至高速存储区。
进一步地,基于上述实施例,还包括若判断获知转移存储至所述高速存储区的所述数据片在所述预计换入时间的预设松弛范围内未被访问,则将所述数据片移出所述周期性列表。
判断所述高速存储区的所述数据片在所述预计换入时间的预设松弛范围内是否未被访问的方法是:以预计换入时间加上松弛粒度为考量时间,在所述考量时间,若判断获知所述数据片在所述预计换入时间至所述考量时间的时间段内未被访问,则获知转移存储至所述高速存储区的所述数据片在所述预计换入时间的预设松弛范围内未被访问,所述数据片不具有周期性访问规律,则将所述数据片移出所述周期性列表。
如松弛粒度为4小时,低速存储区的数据片slice6的预计换入时间为18:00,则在18:00的考量时间,数据片slice6已由低速存储区转移存储至高速存储区。在22:00的考量时间,如获知18:00-22:00所述数据片slice6未被访问,则将所述数据片slice6移出周期性列表。但应注意,所述数据片slice6并没有移出高速存储区。
本发明实施例通过判断获知由低速存储区转移存储至高速存储区的数据片不具有周期性访问规律,将所述数据片移出所述周期性列表,实现了对所述数据片的进一步判断与处理,便于有效整合高速存储区的数据片。
进一步地,基于上述实施例,获取所述目标数据片的预设规则包括:按照所述高速存储区的所述数据片的访问时间顺序,从最久未被访问的所述数据片进行判断,如果所述数据片未处于所述周期性列表或虽然处于所述周期性列表但是所述数据片当前的所述特征访问时间未在所述预计换入时间的所述预设松弛范围内,则将所述数据片转移存储至所述低速存储区。
当高速存储区的存储量超过阈值时,会根据预设规则获取目标数据片,并将所述目标数据片由所述高速存储区转移存储至所述低速存储区。本发明实施例获取所述目标数据片的预设规则中,从最久未被访问的所述数据片进行判断是因为数据片未被访问的时间越长,说明所述数据片越“冷”,应该首先被移出至低速存储区。
从最久未被访问的所述数据片进行判断,如果所述数据片未处于所述周期性列表,说明所述数据片很久未被访问,且不具有周期性访问规律,则应将所述数据片移出至低速存储区;从最久未被访问的所述数据片进行判断,如果所述数据片处于所述周期性列表,则判断所述数据片是否近期会被访问,若判断获知所述数据片当前的所述特征访问时间未在所述预计换入时间的所述预设松弛范围内,则认为所述数据片近期不会被访问,则将所述数据片转移存储至低速存储区。
例如数据片slice7当前特征访问时间为18:00,预计换入时间19:00,松弛粒度为4小时,预计换入时间19:00的松弛范围为15:00-19:00及19:00-23:00,当前特征访问时间18:00在所述松弛范围15:00-19:00内,则保留所述数据片,进而对下一数据片进行判断。反之,如果数据片slice7当前特征访问时间为14:00,预计换入时间19:00,当前特征访问时间14:00未在所述松弛范围15:00-19:00或19:00-23:00内,则将所述数据片slice7转移存储至低速存储区。
本发明实施例通过设定有效的预设规则,实现了由高速存储区转移存储至低速存储区的数据片的合理选择。
图2为本发明实施例提供的一种自动分层存储系统的结构示意图。如图2所示,所述自动分层存储系统1包括换入单元11,所述换入单元11用于到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
所述预设考量时间可人为设定,如设定为每小时的整点为考量时间,当到达预设考量时间时,自动分层存储系统判断低速存储区是否存储有具有周期性访问规律的数据片,所述周期性访问规律通过每个数据片的历史访问时间进行判断,如果低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区,所述预计换入时间是预计的下个周期所述数据片被访问的时间。
本发明实施例通过查找低速存储区具有周期性访问规律的数据片,并在预计换入时间转移存储至高速存储区,将具有周期性访问规律的数据片判定为热数据,解决了数据热度的辨识难点,更有利于数据迁移的合理预判,并可实现提前将周期性访问的数据从慢速存储区转移存储至高速存储区,从而避免数据访问时迁移带来的时延。
图3为本发明又一实施例提供的一种自动分层存储系统的结构示意图,如图3所示,所述自动分层存储系统1包括换入单元11,还包括换出单元12。换入单元11的结构和功能与上述实施例相同,此处不再赘述。换出单元12用于若判断获知所述高速存储区的存储量超过阈值,则根据预设规则获取目标数据片,并将所述目标数据片由所述高速存储区转移存储至所述低速存储区。
当所述考量时间到达时,自动分层存储系统查找到低速存储区具有周期性访问规律的数据片,则需要在预计换入时间将所述数据片转移存储至高速存储区。如果在预计换入时间所述高速存储区的存储量超过阈值,则所述数据片无法转移存储至高速存储区。这时,自动分层存储系统若判断获知所述高速存储区的存储量超过阈值,则根据预设规则获取目标数据片,并将所述目标数据片由所述高速存储区转移存储至所述低速存储区。
同样,当用户读写数据时,如果发生用户读写的数据片处于低速存储区,这时也需要将所述数据片转移存储至高速存储区。如果此时所述高速存储区的存储量超过阈值,则所述数据片无法转移存储至高速存储区。这时,自动分层存储系统若判断获知所述高速存储区的存储量超过阈值,则根据预设规则获取目标数据片,并将所述目标数据片由所述高速存储区转移存储至所述低速存储区。
其中,所述预设规则可以按照数据片的访问时间,将最久未被访问的数据片由所述高速存储区转移存储至所述低速存储区,也可以为其他预设规则。
在上述实施例的基础上,本发明实施例通过判断获知高速存储区的存储量超过阈值时,根据预设规则获取目标数据片并转移存储至低速存储区,释放了高速存储区的存储空间,保障了热数据由低速存储区转移存储至高速存储区。
进一步地,基于上述实施例,所述自动分层存储系统1包括换入单元11和换出单元12,还包括更新周期性列表单元。换入单元11和换出单元12的结构和功能与上述实施例相同,此处不再赘述。所述更新周期性列表单元更新周期性列表的步骤,具体包括:记录所述数据片的访问时间,并得到特征访问时间,所述特征访问时间为所设时间间隔内根据设定规则选定的一个所述访问时间;若通过计算所述数据片最近预设个数的特征访问时间的差值列表判断获知所述特征访问时间呈现周期性,则将所述数据片加入所述周期性列表。
自动分层存储系统会保存所有数据片的最近访问时间,并按时间顺序排序成一个队列。每个数据片中会保留最近预设个数的特征访问时间。特征访问时间为所设时间间隔内根据设定规则选定的一个所述访问时间,如所设时间间隔为1小时,则18:00至18:59的访问时间都将记录成一个时间,称为特征访问时间,如为18:00。每个数据片中会保留最近预设个数的特征访问时间,并计算最近预设个数的特征访问时间的差值列表,通过所述差值列表判断最近预设个数的特征访问时间是否大体呈现等差特性。如果判断获知最近预设个数的特征访问时间大体呈现等差特性,则将所述数据片加入周期性列表。所述周期性列表用于表征加入所述周期性列表的数据片具有周期性访问规律。当到达预设考量时间,若判断获知低速存储区存储有加入周期性列表的数据片,说明低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
其中,判断最近预设个数如n个特征访问时间大体呈现等差特性的方法为:将预设个数的特征访问时间按顺序做差,得到差值列表,所述差值列表包括n-1个差值,若这n-1个差值中最大值与最小值之间的差值小于所设定的松弛粒度,则为大体等差。其中,所述松弛粒度为一时间量,与所述特征访问时间同一数量级。为了去除偶然访问造成的干扰,当初次计算不满足大体等差时,会去掉最大差值和最小差值再进行第二次计算。如果经第二次计算满足大体等差,则仍认为所述n个特征访问时间大体呈现等差特性。
在上述实施例的基础上,本发明实施例通过更新周期性列表,将具有周期性访问规律的数据片加入周期性列表,实现了数据片的周期性访问规律的快速判定。
进一步地,基于上述实施例,所述预计换入时间通过所述差值列表和所述特征访问时间计算得到。
所述预计换入时间是预计的下个周期所述数据片被访问的时间。需要根据访问周期和上一访问时间确定。由于考量时间一般是整点,特征访问时间一般也为整点,由差值列表获取的访问周期也为整数值,因此,本发明实施例所述预计换入时间通过所述差值列表和所述特征访问时间计算得到。这样获得的预计换入时间也为整点,可实现在考量时间实现数据片的迁移。
具体地,所述预计换入时间的计算方法为:首先得到最近预设个数的特征访问时间的差值列表,然后去掉最大值和最小值,若判断获知差值列表中最后一个差值为去掉的最小值,则选择所述最小值对应的前一特征访问时间为基准时间,所述基准时间加上所述松弛粒度即为预计换入时间;若判断获知差值列表中最后一个差值不是去掉的最小值,则选择所述最后一个差值的后一特征访问时间为基准时间,所述基准时间加上所述松弛粒度即为预计换入时间。
在上述实施例的基础上,本发明实施例通过差值列表和特征访问时间计算得到预计换入时间,实现了将低速存储区存储的具有周期性访问规律的数据片在合理的时间转移存储至高速存储区。
进一步地,基于上述实施例,更新周期性列表单元13还用于若判断获知转移存储至所述高速存储区的所述数据片在所述预计换入时间的预设松弛范围内未被访问,则将所述数据片移出所述周期性列表。
判断所述高速存储区的所述数据片在所述预计换入时间的预设松弛范围内是否未被访问的方法是:以预计换入时间加上松弛粒度为考量时间,在所述考量时间,若判断获知所述数据片在所述预计换入时间至所述考量时间的时间段内未被访问,则获知转移存储至所述高速存储区的所述数据片在所述预计换入时间的预设松弛范围内未被访问,所述数据片不具有周期性访问规律,则将所述数据片移出所述周期性列表。
本发明实施例通过判断获知由低速存储区转移存储至高速存储区的数据片不具有周期性访问规律,将所述数据片移出所述周期性列表,实现了对所述数据片的进一步判断与处理,便于有效整合高速存储区的数据片。
进一步地,基于上述实施例,获取所述目标数据片的预设规则包括:按照所述高速存储区的所述数据片的访问时间顺序,从最久未被访问的所述数据片进行判断,如果所述数据片未处于所述周期性列表或虽然处于所述周期性列表但是所述数据片当前的所述特征访问时间未在所述预计换入时间的所述预设松弛范围内,则将所述数据片转移存储至所述低速存储区。
当高速存储区的存储量超过阈值时,会根据预设规则获取目标数据片,并将所述目标数据片由所述高速存储区转移存储至所述低速存储区。本发明实施例获取所述目标数据片的预设规则中,从最久未被访问的所述数据片进行判断是因为数据片未被访问的时间越长,说明所述数据片越“冷”,应该首先被移出至低速存储区。
从最久未被访问的所述数据片进行判断,如果所述数据片未处于所述周期性列表,说明所述数据片很久未被访问,且不具有周期性访问规律,则应将所述数据片移出至低速存储区;从最久未被访问的所述数据片进行判断,如果所述数据片处于所述周期性列表,则判断所述数据片是否近期会被访问,若判断获知所述数据片当前的所述特征访问时间未在所述预计换入时间的所述预设松弛范围内,则认为所述数据片近期不会被访问,则将所述数据片转移存储至低速存储区。
本发明实施例通过设定有效的预设规则,实现了由高速存储区转移存储至低速存储区的数据片的合理选择。
图4是本发明再一实施例提供的计算机设备的结构示意图。由图4所示,计算机设备1包括处理器401、存储器402和总线403。其中,所述处理器401和所述存储器402通过所述总线403完成相互间的通信;所述处理器401用于调用所述存储器402中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
本发明实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的计算机设备等实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种自动分层存储方法,其特征在于,包括:
到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
2.根据权利要求1所述的方法,其特征在于,还包括:
若判断获知所述高速存储区的存储量超过阈值,则根据预设规则获取目标数据片,并将所述目标数据片由所述高速存储区转移存储至所述低速存储区。
3.根据权利要求1或2所述的方法,其特征在于,还包括更新周期性列表的步骤,具体包括:
记录所述数据片的访问时间,并得到特征访问时间,所述特征访问时间为所设时间间隔内根据设定规则选定的一个所述访问时间;
若通过计算所述数据片最近预设个数的特征访问时间的差值列表判断获知所述特征访问时间呈现周期性,则将所述数据片加入所述周期性列表。
4.根据权利要求3所述的方法,其特征在于,所述预计换入时间通过所述差值列表和所述特征访问时间计算得到。
5.根据权利要求4所述的方法,其特征在于,还包括:
若判断获知转移存储至所述高速存储区的所述数据片在所述预计换入时间的预设松弛范围内未被访问,则将所述数据片移出所述周期性列表。
6.根据权利要求5所述的方法,其特征在于,获取所述目标数据片的预设规则包括:
按照所述高速存储区的所述数据片的访问时间顺序,从最久未被访问的所述数据片进行判断,如果所述数据片未处于所述周期性列表或虽然处于所述周期性列表但是所述数据片当前的所述特征访问时间未在所述预计换入时间的所述预设松弛范围内,则将所述数据片转移存储至所述低速存储区。
7.一种自动分层存储系统,其特征在于,包括:
换入单元,所述换入单元用于到达预设考量时间,若判断获知低速存储区存储有具有周期性访问规律的数据片,则将所述数据片在预计换入时间转移存储至高速存储区。
8.根据权利要求7所述的系统,其特征在于,还包括:
换出单元,所述换出单元用于若判断获知所述高速存储区的存储量超过阈值,则根据预设规则获取目标数据片,并将所述目标数据片由所述高速存储区转移存储至所述低速存储区。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述处理器和所述存储器通过总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一所述的方法。
CN201710444472.XA 2017-06-13 2017-06-13 一种自动分层存储方法及系统 Active CN107315540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710444472.XA CN107315540B (zh) 2017-06-13 2017-06-13 一种自动分层存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710444472.XA CN107315540B (zh) 2017-06-13 2017-06-13 一种自动分层存储方法及系统

Publications (2)

Publication Number Publication Date
CN107315540A true CN107315540A (zh) 2017-11-03
CN107315540B CN107315540B (zh) 2020-11-27

Family

ID=60181851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710444472.XA Active CN107315540B (zh) 2017-06-13 2017-06-13 一种自动分层存储方法及系统

Country Status (1)

Country Link
CN (1) CN107315540B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363553A (zh) * 2018-01-31 2018-08-03 北京兰云科技有限公司 一种数据处理方法、装置及系统
CN108563730A (zh) * 2018-04-04 2018-09-21 北京蓝杞数据科技有限公司天津分公司 一种冷热数据自动切换方法、装置、电子设备及存储介质
CN110795026A (zh) * 2018-08-03 2020-02-14 杭州海康威视系统技术有限公司 热点数据的识别方法、装置、设备及存储介质
CN113238647A (zh) * 2021-05-31 2021-08-10 山东中科好靓科技有限公司 一种用于存储的节能分时控制方法
CN113835615A (zh) * 2020-09-17 2021-12-24 北京焱融科技有限公司 一种基于分布式文件存储的智能分层方法和系统
CN114817425A (zh) * 2022-06-28 2022-07-29 成都交大大数据科技有限公司 一种冷热数据分类的方法、装置、设备及可读存储介质
CN117270794A (zh) * 2023-11-22 2023-12-22 成都大成均图科技有限公司 一种基于Redis的数据存储方法、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673245A (zh) * 2008-09-09 2010-03-17 株式会社东芝 包括存储器管理装置的信息处理装置和存储器管理方法
CN104272386A (zh) * 2012-04-25 2015-01-07 国际商业机器公司 通过分层存储系统内的数据迁移减少功耗
US20160321008A1 (en) * 2015-04-29 2016-11-03 International Business Machines Corporation Smart Load Balancing Replication When Adding or Removing Storage Disks in a Distributed Storage System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673245A (zh) * 2008-09-09 2010-03-17 株式会社东芝 包括存储器管理装置的信息处理装置和存储器管理方法
CN104272386A (zh) * 2012-04-25 2015-01-07 国际商业机器公司 通过分层存储系统内的数据迁移减少功耗
US20160321008A1 (en) * 2015-04-29 2016-11-03 International Business Machines Corporation Smart Load Balancing Replication When Adding or Removing Storage Disks in a Distributed Storage System

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363553A (zh) * 2018-01-31 2018-08-03 北京兰云科技有限公司 一种数据处理方法、装置及系统
CN108563730A (zh) * 2018-04-04 2018-09-21 北京蓝杞数据科技有限公司天津分公司 一种冷热数据自动切换方法、装置、电子设备及存储介质
CN110795026A (zh) * 2018-08-03 2020-02-14 杭州海康威视系统技术有限公司 热点数据的识别方法、装置、设备及存储介质
CN113835615A (zh) * 2020-09-17 2021-12-24 北京焱融科技有限公司 一种基于分布式文件存储的智能分层方法和系统
CN113238647A (zh) * 2021-05-31 2021-08-10 山东中科好靓科技有限公司 一种用于存储的节能分时控制方法
CN114817425A (zh) * 2022-06-28 2022-07-29 成都交大大数据科技有限公司 一种冷热数据分类的方法、装置、设备及可读存储介质
CN114817425B (zh) * 2022-06-28 2022-09-02 成都交大大数据科技有限公司 一种冷热数据分类的方法、装置、设备及可读存储介质
CN117270794A (zh) * 2023-11-22 2023-12-22 成都大成均图科技有限公司 一种基于Redis的数据存储方法、介质及设备
CN117270794B (zh) * 2023-11-22 2024-02-23 成都大成均图科技有限公司 一种基于Redis的数据存储方法、介质及设备

Also Published As

Publication number Publication date
CN107315540B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN107315540A (zh) 一种自动分层存储方法及系统
US10095418B1 (en) Automatic tiering of storage using dynamic grouping
US9274941B1 (en) Facilitating data migration between tiers
CN104516471B (zh) 一种管理存储器系统的电源的方法和装置
CN104699424B (zh) 一种基于页面热度的异构内存管理方法
CN110515539A (zh) 基于云存储的云磁盘挂载方法、装置、设备和存储介质
CN102508619A (zh) 存储系统服务质量控制方法、系统和存储系统
TW201126330A (en) Method for placement of virtual volume hot-spots in storage pools using ongoing load measurements and ranking
CN104317731B (zh) 一种分层存储管理方法、装置及存储系统
CN106484330A (zh) 一种混合磁盘分层数据优化方法和装置
CN105808620B (zh) 一种管理磁盘文件的方法和装置
CN106031827B (zh) 基于redis的游戏服务器数据存储、读取方法及系统
CN107623732A (zh) 一种基于云平台的数据存储方法、装置、设备及存储介质
CN103150245A (zh) 确定数据实体的访问特性的方法和存储控制器
CN102981944A (zh) 一种基于文件系统的日志存储方法
CN110058960A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN109976680A (zh) 一种数据迁移方法、装置、设备及可读存储介质
CN113867645A (zh) 数据迁移和数据读写方法、装置、计算机设备及存储介质
US10409501B1 (en) Tiered data storage system using mobility scoring
Cheng et al. Pricing games for hybrid object stores in the cloud: Provider vs. tenant
CN109445695A (zh) 一种数据迁移方法
US20170329553A1 (en) Storage control device, storage system, and computer-readable recording medium
CN107092443A (zh) 数据迁移方法及装置
Oe et al. On-The-Fly Automated Storage Tiering (OTF-AST)
Oe et al. On-the-fly automated storage tiering with caching and both proactive and observational migration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220325

Address after: No. 407, floor 4, No. 9, No. 9, shangdijiu street, Haidian District, Beijing 100085

Patentee after: Shenzhou Yunke (Beijing) Technology Co.,Ltd.

Address before: 518131 F3, 11th floor, No. 8 Kefa Road, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen science and Technology Co.,Ltd. digital cloud data

TR01 Transfer of patent right