CN102411542A - 动态分级存储系统和方法 - Google Patents

动态分级存储系统和方法 Download PDF

Info

Publication number
CN102411542A
CN102411542A CN2011103301350A CN201110330135A CN102411542A CN 102411542 A CN102411542 A CN 102411542A CN 2011103301350 A CN2011103301350 A CN 2011103301350A CN 201110330135 A CN201110330135 A CN 201110330135A CN 102411542 A CN102411542 A CN 102411542A
Authority
CN
China
Prior art keywords
memory block
file
level
temperature
visit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103301350A
Other languages
English (en)
Inventor
安然
谈川玉
卢宝丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WENGUANG INTERDYANMIC TV CO Ltd SHANGHAI
Original Assignee
WENGUANG INTERDYANMIC TV CO Ltd SHANGHAI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WENGUANG INTERDYANMIC TV CO Ltd SHANGHAI filed Critical WENGUANG INTERDYANMIC TV CO Ltd SHANGHAI
Priority to CN2011103301350A priority Critical patent/CN102411542A/zh
Publication of CN102411542A publication Critical patent/CN102411542A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种动态分级存储系统和方法,其系统包括至少二个存储区、热点分析单元以及重定位单元。每个存储区均设置有表示放置级别的标识,所述放置级别的高低表示所述存储区磁盘介质性能的高低;热点分析单元与存储区相连,用于计算文件的访问热度,其中文件访问热度的高低对应存储区放置级别的高低;重定位单元分别与热点分析单元以及所有的存储区相连,用于根据文件的访问热度,依次将文件存入对应放置级别的存储区。本发明可以更合理地利用磁盘存储资源,降低硬件的购置成本。

Description

动态分级存储系统和方法
技术领域
本发明涉及计算机存储技术领域,特别涉及一种动态分级存储系统和方法。
背景技术
随着存储和网络技术的不断发展,网络存储容量成指数级增长。企业级的存储用户希望数据具有更高的可靠性,并且能够持续访问企业服务器管理的数据;同时,存储服务器的系统管理员也希望有更高效率的存储管理策略。
在企业级存储服务器的使用过程中,系统管理员希望存储资源能够动态调节,而不是在开始使用时就要预见某个存储资源在未来可能需要的容量。在某个存储资源即将耗尽时,能够在线扩容,保证数据的可持续性访问。
为此,出现了一些磁盘管理方法,如逻辑卷管理(Logical VolumeManager,LVM)等,它们使得磁盘的管理更加灵活,让使用者可以根据需要对磁盘存储按照组的方式即西宁命名、管理和分配,从而提高了存储管理的效率。
但是,目前的磁盘存储方式,对于经常使用的文件和数据以及不经常或使用的文件和数据,都是存放在一类磁盘中,因此那部分不经常使用的文件和数据同样也占据着一定的磁盘存储资源,不仅造成了资源的浪费,增加了磁盘硬件成本,而且在也降低了磁盘的访问速度,影响系统整体的性能。
发明内容
本发明的目的是提供一种动态分级存储系统和方法,以解决现有的磁盘存储方式造成的成本高、访问速度慢的问题。
本发明提出一种动态分级存储系统,包括至少二个存储区、热点分析单元以及重定位单元。每个存储区均设置有表示放置级别的标识,所述放置级别的高低表示所述存储区磁盘介质性能的高低;热点分析单元与存储区相连,用于计算文件的访问热度,其中文件访问热度的高低对应存储区放置级别的高低;重定位单元分别与热点分析单元以及所有的存储区相连,用于根据文件的访问热度,依次将文件存入对应放置级别的存储区。
进一步的,所述的动态分级存储系统,其还包括排序单元和规则定制单元。排序单元用于列出所有文件的列表,并按访问时间或修改时间对文件进行排序;规则定制单元分别与所述排序单元以及重定位单元相连,用于根据排序结果确定访问热度的计算规则。
进一步的,所述的动态分级存储系统,其还包括资源分配单元,与所述存储区相连,用于分配各个存储区的存储资源。
进一步的,所述存储区包括至少一个一级存储区和至少一个二级存储区,所述一级存储区具有高性能的磁盘介质,所述二级存储区具有高性价比的磁盘介质。
本发明另提出一种动态分级存储方法,包括以下步骤:
A、设置至少二个存储区,每个存储区均设置有表示放置级别的标识,所述放置级别的高低表示所述存储区磁盘介质性能的高低;
B、计算文件的访问热度,其中文件访问热度的高低对应存储区放置级别的高低;
C、根据文件的访问热度,依次将文件存入对应放置级别的存储区。
进一步的,步骤B中,计算文件的访问热度包括以下步骤:
B1,列出所有文件的列表;
B2,按访问时间或修改时间对文件进行排序;
B3,根据排序结果确定访问热度的计算规则;
B4,通过计算规则计算文件的访问热度。
进一步的,步骤C包括步骤:
C1、判断同一访问热度的文件大小与对应放置级别的存储区容量是否匹配,若是则进入C3,若否则进入C2;
C2、重新分配对应存储区的存储资源;
C3、根据文件的访问热度,依次将文件存入对应放置级别的存储区。
进一步的,所述存储区包括至少一个一级存储区和至少一个二级存储区,所述一级存储区具有高性能的磁盘介质,所述二级存储区具有高性价比的磁盘介质。
本发明的有益效果是:本发明的动态分级存储系统和方法通过对存储空间中文件的定期重定位,将经常被访问的文件(热点数据)存放在高性能、高成本的存储区中,而长期不被访问的文件(非热点数据)存放在性价比高、成本低的存储区中,相对于现有技术,更合理地利用了磁盘资源,降低了硬件购置成本,同时将高性能磁盘中的非热点数据分割出去后,更有利于对热点数据访问速度的提升,提高系统整体性能。
附图说明
图1为本发明动态分级存储系统的一种实施例结构图;
图2为一种文件系统的存储空间重定位前的示意图;
图3为图2中文件系统的存储空间重定位后的示意图;
图4为一个具有10TB联机存储的数据中心,纯粹基于存储硬件的成本比较的示意图;
图5为本发明动态分级存储系统的另一种实施例结构图;
图6为本发明动态分级存储方法的一种实施例流程图;
图7为本发明访问热度计算过程的一种实施例流程图;
图8为本发明迁移系统文件时的一种实施例流程图。
具体实施方式
以下结合附图,具体说明本发明。
请参见图1,其为本发明动态分级存储系统的一种实施例结构图,其包括多个存储区11、热点分析单元12以及重定位单元13。每个存储区11均设置有表示放置级别的标识,所述放置级别的高低表示所述存储区11磁盘介质性能的高低;热点分析单元12与存储区11相连,用于计算文件的访问热度,这里所述的访问热度是指文件的被使用频度或受关注程度,其中文件访问热度的高低对应存储区放置级别的高低;重定位单元13分别与热点分析单元12以及所有的存储区11相连,用于根据文件的访问热度,依次将文件存入对应放置级别的存储区11。
本发明的目的是参照系统文件的访问热度实现文件的自动迁移,从而使存储区的分配更加合理,释放更多的存储资源。下面举例说明其运作过程:
请参见图2,某文件系统的存储空间分为一级存储区和二级存储区,“一级”和“二级”即为这两个存储区的放置级别,一级存储区为性能高、成本高的磁盘介质,二级存储区为性价比较高、成本较低的磁盘介质。文件初期都被储存在一级存储区中,在一段时间后,一些文件却长期不被使用,图中空心的小方块21表示长期不被使用的文件(本发明中也称之为非热点数据),实心的小方块22表示经常被使用的文件(本发明中也称之为热点数据),这些不被使用的文件仍然占据着高性能的磁盘空间,造成资源的浪费,同时也会影响对其它文件的访问。
因此,热点分析单元12便会定时对两个存储区中的文件进行分析,计算它们的访问热度,然后由重定位单元13自动对它们进行重分配。即将访问热度低的文件(空心的小方块21)迁移到二级存储区,访问热度高的文件(实心的小方块22)迁移到一级存储区,重新分配后的存储空间就形成了如图3所示的新的格局。
由于二级存储区相对于一级存储区的磁盘介质的成本较低,因而将空心的小方块21迁移到二级存储区后,一级存储区中原来存放空心的小方块21的地方就可以用来存放实心的小方块22或者新写入的文件,这样便更充分地利用了高价的磁盘空间,并可以释放出一定的存储资源。特别对于企业级的存储器,其要求长时间运作,以及很高的MTBF(Mean TimeBefore Failure,平均故障时间)。采用本发明的存储系统可以大大提高稳定性和硬件购置成本。
例如,假设某企业的储存器由质量最好一级存储区和质量中等的二级存储区构成,质量最好的企业存储硬件每GB花费20美元,而质量中等的存储区每GB花费10美元,则若其联机数据中有50%的数据为非热点数据并保存在在质量中等的存储区上,那么相对于全部保存在质量最好的存储区上,节省25%的存储采购成本。且非热点数据越多,越节省成本。图4表述的是对一个具有10TB联机存储的数据中心,纯粹基于存储硬件的成本比较。
由此可见,采用本发明的存储系统可以为企业带来很大的利益。实际上,因为存储空间配置不同,造成的成本差额甚至更大,比如储存空间还可以基于不同的访问热度,划分为一级、二级、三级存储区,甚至更多,而相对应的,就必须制定访问热度的相应划分规则。当然,使用者可以根据本身经验来设定访问热度的计算规则,但相对地会缺少一些客观性和准确性。
鉴于此,本发明提供了另一种动态分级存储系统的实施例结构图,如图5所示,其包括多个存储区11、热点分析单元12、重定位单元13、排序单元51、规则定制单元52以及资源分配单元53。热点分析单元12与存储区11相连,重定位单元13分别与热点分析单元12以及所有的存储区11相连,排序单元51与存储区11相连,规则定制单元52分别与排序单元51及重定位单元13相连,资源分配单元53与存储区11相连。其中,存储区11、热点分析单元12和重定位单元13的作用与图1的实施例中所述的相同,此处不再赘述。
排序单元51和规则定制单元52的作用即为定制访问热度的计算规则,排序单元51会针对存储区11中的所有文件进行列表,并按访问时间或修改时间对文件进行排序。规则定制单元52便可以根据排序结果确定访问热度的计算规则。例如,根据排序结果分析显示75%的文件已经有30天或超过30天未被访问,则30天可以是一个比较合适的向下重定位阀值,即30天内被访问过的文件定义为热点数据,超过30天未被访问的文件定义为非热点数据。当然,若不同放置级别的存储区11大于等于三个,则也可以分别以20天、30天、40天等时间为界限将存储区11中文件的访问热度划分为一级访问热度、二级访问热度、三级访问热度等,以与各个存储区相对应。
此外,资源分配单元53用于分配各个存储区的存储资源,以最大化地运用系统存储资源。例如,如果25%的文件被判断为热点数据(已在最近30天内访问),但这25%文件只占一级存储区的10%,则有必要对存储资源进行重新分配,将一级存储区的部分空间划分出来用于存储其它数据。相反,如果热点数据占总文件系统存储容量的百分比大于一级存储区的可用百分比,则某些热点数据就必然占用二级存储空间,此时就需要增大一级存储空间的容量分配。而这些根据文件大小来调配各个存储区容量的工作便是由资源分配单元53来完成的。
相应于上述系统,本发明还提出一种动态分级存储方法,如图6所示,其包括以下步骤:
S61,设置至少二个存储区,每个存储区均设置有表示放置级别的标识,所述放置级别的高低表示所述存储区磁盘介质性能的高低。
例如,某文件系统的存储空间分为一级存储区和二级存储区,“一级”和“二级”即为这两个存储区的放置级别,一级存储区为性能高、成本高的磁盘介质,二级存储区为性价比较高、成本较低的磁盘介质。
S62,计算文件的访问热度,其中文件访问热度的高低对应存储区放置级别的高低。这里所述的访问热度是指文件的被使用频度或受关注程度。本发明要实现的是将经常被访问的文件存放到高性能的存储区中,而长期不被访问的文件存放到性价比较高、成本相对较低的存储区中,以提高存储资源的利用率以及降低硬件购置成本,因此访问热度与放置级别相对应。
S63,根据文件的访问热度,依次将文件存入对应放置级别的存储区。比如访问热度高的、经常被访问的文件存入性能高的一级存储区,访问热度低的、长期不被访问的文件存入成本低的二级存储区。
在动态分级存储策略中,计算文件的访问热度是一个关键部分,其决定了什么是热点数据,什么是非热点数据,好的计算规则有利于更加有效地使用存储空间。,请参见图7,本发明优选的访问热度计算过程(即步骤S62)包括以下步骤:
S71,列出所有文件的列表。
S72,按访问时间或修改时间对文件进行排序。
S73,根据排序结果确定访问热度的计算规则。
S74,通过计算规则计算文件的访问热度。
例如,根据排序结果分析显示75%的文件已经有30天或超过30天未被访问,则30天可以是一个比较合适的向下重定位阀值,即“计算规则”就可以定位为:30天内被访问过的文件定义为热点数据,超过30天未被访问的文件定义为非热点数据。当然,若不同放置级别的存储区大于等于三个,则也可以分别以20天、30天、40天等时间为界限将存储区中文件的访问热度划分为一级访问热度、二级访问热度、三级访问热度等,以与各个存储区相对应。
此外,为了更合理地利用存储资源,降低硬件购置成本,本发明还可以在迁移各存储区中文件的时候,根据各存储区待存文件的大小,对各个存储区的容量进行重分配,如图8所示,其包括以下步骤:
S81,判断同一访问热度的文件大小与对应放置级别的存储区容量是否匹配,若是则进入步骤S83,若否则进入步骤S82。
S82,重新分配对应存储区的存储资源。
S83,根据文件的访问热度,依次将文件存入对应放置级别的存储区。
例如,如果25%的文件被判断为热点数据(已在最近30天内访问),但这25%文件只占一级存储区的10%,则有必要对存储资源进行重新分配,将一级存储区的部分空间划分出来用于存储其它数据。相反,如果热点数据占总文件系统存储容量的百分比大于一级存储区的可用百分比,则某些热点数据就必然占用二级存储空间,此时就需要增大一级存储空间的容量分配。
以上公开的仅为本发明的几个具体实施例,但本发明并非局限于此,任何本领域的技术人员能思之的变化,只要不超出所附权利要求书所述范围,都应落在本发明的保护范围内。

Claims (8)

1.一种动态分级存储系统,其特征在于,包括:
至少二个存储区,每个存储区均设置有表示放置级别的标识,所述放置级别的高低表示所述存储区磁盘介质性能的高低;
一热点分析单元,与存储区相连,用于计算文件的访问热度,其中文件访问热度的高低对应存储区放置级别的高低;
一重定位单元,分别与热点分析单元以及所有的存储区相连,用于根据文件的访问热度,依次将文件存入对应放置级别的存储区。
2.如权利要求1所述的动态分级存储系统,其特征在于,其还包括:
一排序单元,用于列出所有文件的列表,并按访问时间或修改时间对文件进行排序;
一规则定制单元,分别与所述排序单元以及重定位单元相连,用于根据排序结果确定访问热度的计算规则。
3.如权利要求1所述的动态分级存储系统,其特征在于,其还包括一资源分配单元,与所述存储区相连,用于分配各个存储区的存储资源。
4.如权利要求1所述的动态分级存储系统,其特征在于,所述存储区包括至少一个一级存储区和至少一个二级存储区,所述一级存储区具有高性能的磁盘介质,所述二级存储区具有高性价比的磁盘介质。
5.一种动态分级存储方法,其特征在于,包括以下步骤:
A、设置至少二个存储区,每个存储区均设置有表示放置级别的标识,所述放置级别的高低表示所述存储区磁盘介质性能的高低;
B、计算文件的访问热度,其中文件访问热度的高低对应存储区放置级别的高低;
C、根据文件的访问热度,依次将文件存入对应放置级别的存储区。
6.如权利要求5所述的动态分级存储方法,其特征在于,步骤B中,计算文件的访问热度包括以下步骤:
B1,列出所有文件的列表;
B2,按访问时间或修改时间对文件进行排序;
B3,根据排序结果确定访问热度的计算规则;
B4,通过计算规则计算文件的访问热度。
7.如权利要求5所述的动态分级存储方法,其特征在于,步骤C包括步骤:
C1、判断同一访问热度的文件大小与对应放置级别的存储区容量是否匹配,若是则进入C3,若否则进入C2;
C2、重新分配对应存储区的存储资源;
C3、根据文件的访问热度,依次将文件存入对应放置级别的存储区。
8.如权利要求5所述的动态分级存储方法,其特征在于,所述存储区包括至少一个一级存储区和至少一个二级存储区,所述一级存储区具有高性能的磁盘介质,所述二级存储区具有高性价比的磁盘介质。
CN2011103301350A 2011-10-26 2011-10-26 动态分级存储系统和方法 Pending CN102411542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011103301350A CN102411542A (zh) 2011-10-26 2011-10-26 动态分级存储系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011103301350A CN102411542A (zh) 2011-10-26 2011-10-26 动态分级存储系统和方法

Publications (1)

Publication Number Publication Date
CN102411542A true CN102411542A (zh) 2012-04-11

Family

ID=45913624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103301350A Pending CN102411542A (zh) 2011-10-26 2011-10-26 动态分级存储系统和方法

Country Status (1)

Country Link
CN (1) CN102411542A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049559A (zh) * 2012-12-29 2013-04-17 深圳先进技术研究院 一种海量数据自动放置方法和装置
CN103064902A (zh) * 2012-12-18 2013-04-24 厦门市美亚柏科信息股份有限公司 Hdfs中数据的存储方法、读取方法及存储系统、读取系统
CN103095805A (zh) * 2012-12-20 2013-05-08 江苏辰云信息科技有限公司 一种对数据进行智能分层管理的云存储系统
WO2013178155A1 (zh) * 2012-08-03 2013-12-05 中兴通讯股份有限公司 分布式文件系统的存储方法及装置
CN103795756A (zh) * 2012-10-31 2014-05-14 中国电信股份有限公司 分层存储方法和系统、对象访问控制器
CN104123237A (zh) * 2014-06-24 2014-10-29 中电科华云信息技术有限公司 海量小文件分级存储方法及系统
CN104376094A (zh) * 2014-11-24 2015-02-25 浪潮电子信息产业股份有限公司 一种考虑访问随机性的文件分级存储方法和系统
CN104503924A (zh) * 2014-12-16 2015-04-08 华为技术有限公司 一种分层存储系统中的区域分配方法及装置
CN104702625A (zh) * 2015-03-31 2015-06-10 北京奇艺世纪科技有限公司 一种cdn网络中访问请求调度方法及装置
CN105138416A (zh) * 2014-06-05 2015-12-09 中兴通讯股份有限公司 磁盘休眠处理方法及装置
CN106528002A (zh) * 2016-12-06 2017-03-22 郑州云海信息技术有限公司 一种基于时间的存储调度方法
WO2017076276A1 (zh) * 2015-11-04 2017-05-11 华为技术有限公司 一种自适应存储文件的方法和装置
CN107357685A (zh) * 2017-07-11 2017-11-17 清华大学 一种数据存储的容错冗余方法及设备
CN107870735A (zh) * 2016-09-28 2018-04-03 杭州华为数字技术有限公司 数据管理方法、装置和设备
CN109005056A (zh) * 2018-07-16 2018-12-14 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置
CN110012086A (zh) * 2019-03-27 2019-07-12 努比亚技术有限公司 提高应用下载及安装速度的方法、终端及存储介质
CN110703997A (zh) * 2019-09-29 2020-01-17 北京浪潮数据技术有限公司 云存储系统及数据存储方法、装置、设备、计算机介质
CN110908608A (zh) * 2019-11-22 2020-03-24 苏州浪潮智能科技有限公司 一种存储空间节省方法及系统
CN111311450A (zh) * 2020-02-28 2020-06-19 重庆百事得大牛机器人有限公司 用于法律咨询服务的大数据管理平台及方法
CN113742290A (zh) * 2021-11-04 2021-12-03 上海闪马智能科技有限公司 一种数据存储方法、装置、存储介质及电子装置
WO2022062965A1 (en) * 2020-09-22 2022-03-31 International Business Machines Corporation Storage tiering within a unified storage environment
CN116088772A (zh) * 2023-04-10 2023-05-09 宇动源(北京)信息技术有限公司 动态存储管理方法、装置、存储介质及电子设备
CN117195291A (zh) * 2023-09-08 2023-12-08 苏州慧睿康智能科技有限公司 一种基于热度分级策略的医疗数据安全存储方法
CN117195997A (zh) * 2023-11-06 2023-12-08 之江实验室 一种模型训练方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201801A (zh) * 2006-12-11 2008-06-18 南京理工大学 视频点播系统的分级存储管理方法
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201801A (zh) * 2006-12-11 2008-06-18 南京理工大学 视频点播系统的分级存储管理方法
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及系统

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013178155A1 (zh) * 2012-08-03 2013-12-05 中兴通讯股份有限公司 分布式文件系统的存储方法及装置
US10572454B2 (en) 2012-08-03 2020-02-25 Xi'an Zhongxing New Software Co., Ltd. Storage method and apparatus for distributed file system
CN103795756A (zh) * 2012-10-31 2014-05-14 中国电信股份有限公司 分层存储方法和系统、对象访问控制器
CN103064902A (zh) * 2012-12-18 2013-04-24 厦门市美亚柏科信息股份有限公司 Hdfs中数据的存储方法、读取方法及存储系统、读取系统
CN103095805A (zh) * 2012-12-20 2013-05-08 江苏辰云信息科技有限公司 一种对数据进行智能分层管理的云存储系统
CN103095805B (zh) * 2012-12-20 2018-03-30 江苏辰云信息科技有限公司 一种对数据进行智能分层管理的云存储系统
CN103049559A (zh) * 2012-12-29 2013-04-17 深圳先进技术研究院 一种海量数据自动放置方法和装置
CN105138416A (zh) * 2014-06-05 2015-12-09 中兴通讯股份有限公司 磁盘休眠处理方法及装置
CN104123237A (zh) * 2014-06-24 2014-10-29 中电科华云信息技术有限公司 海量小文件分级存储方法及系统
CN104376094A (zh) * 2014-11-24 2015-02-25 浪潮电子信息产业股份有限公司 一种考虑访问随机性的文件分级存储方法和系统
CN104503924B (zh) * 2014-12-16 2018-02-13 华为技术有限公司 一种分层存储系统中的区域分配方法及装置
CN104503924A (zh) * 2014-12-16 2015-04-08 华为技术有限公司 一种分层存储系统中的区域分配方法及装置
CN104702625A (zh) * 2015-03-31 2015-06-10 北京奇艺世纪科技有限公司 一种cdn网络中访问请求调度方法及装置
CN104702625B (zh) * 2015-03-31 2018-04-13 北京奇艺世纪科技有限公司 一种cdn网络中访问请求调度方法及装置
US11182080B2 (en) 2015-11-04 2021-11-23 Huawei Technologies Co., Ltd. Adaptive file storage method and apparatus
WO2017076276A1 (zh) * 2015-11-04 2017-05-11 华为技术有限公司 一种自适应存储文件的方法和装置
CN107870735A (zh) * 2016-09-28 2018-04-03 杭州华为数字技术有限公司 数据管理方法、装置和设备
CN107870735B (zh) * 2016-09-28 2021-01-05 华为技术有限公司 数据管理方法、装置和设备
CN106528002A (zh) * 2016-12-06 2017-03-22 郑州云海信息技术有限公司 一种基于时间的存储调度方法
CN107357685B (zh) * 2017-07-11 2019-06-18 清华大学 一种数据存储的容错冗余方法及设备
CN107357685A (zh) * 2017-07-11 2017-11-17 清华大学 一种数据存储的容错冗余方法及设备
CN109005056A (zh) * 2018-07-16 2018-12-14 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置
CN110012086B (zh) * 2019-03-27 2023-10-20 努比亚技术有限公司 提高应用下载及安装速度的方法、终端及存储介质
CN110012086A (zh) * 2019-03-27 2019-07-12 努比亚技术有限公司 提高应用下载及安装速度的方法、终端及存储介质
CN110703997A (zh) * 2019-09-29 2020-01-17 北京浪潮数据技术有限公司 云存储系统及数据存储方法、装置、设备、计算机介质
CN110908608A (zh) * 2019-11-22 2020-03-24 苏州浪潮智能科技有限公司 一种存储空间节省方法及系统
CN111311450A (zh) * 2020-02-28 2020-06-19 重庆百事得大牛机器人有限公司 用于法律咨询服务的大数据管理平台及方法
CN111311450B (zh) * 2020-02-28 2024-03-29 重庆百事得大牛机器人有限公司 用于法律咨询服务的大数据管理平台及方法
WO2022062965A1 (en) * 2020-09-22 2022-03-31 International Business Machines Corporation Storage tiering within a unified storage environment
GB2614668A (en) * 2020-09-22 2023-07-12 Ibm Storage tiering within a unified storage environment
CN113742290A (zh) * 2021-11-04 2021-12-03 上海闪马智能科技有限公司 一种数据存储方法、装置、存储介质及电子装置
CN116088772A (zh) * 2023-04-10 2023-05-09 宇动源(北京)信息技术有限公司 动态存储管理方法、装置、存储介质及电子设备
CN116088772B (zh) * 2023-04-10 2023-06-09 宇动源(北京)信息技术有限公司 动态存储管理方法、装置、存储介质及电子设备
CN117195291A (zh) * 2023-09-08 2023-12-08 苏州慧睿康智能科技有限公司 一种基于热度分级策略的医疗数据安全存储方法
CN117195291B (zh) * 2023-09-08 2024-04-09 苏州慧睿康智能科技有限公司 一种基于热度分级策略的医疗数据安全存储方法
CN117195997A (zh) * 2023-11-06 2023-12-08 之江实验室 一种模型训练方法、装置、存储介质及电子设备
CN117195997B (zh) * 2023-11-06 2024-03-01 之江实验室 一种模型训练方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN102411542A (zh) 动态分级存储系统和方法
CN103595780B (zh) 基于消重的云计算资源调度方法
US8903803B1 (en) Horizontal interval-based data partitioning and indexing for large clusters
CN102947799A (zh) 将消息从消息源传送至订阅接收者
CN103020255A (zh) 分级存储方法和装置
Chen et al. E2FS: an elastic storage system for cloud computing
CN110119405B (zh) 分布式并行数据库资源管理方法
CN104111924A (zh) 一种数据库系统
CN103631894A (zh) 一种基于hdfs的动态副本管理方法
Diana et al. A methodology for comparing distances traveled by performance-equivalent fixed-route and demand responsive transit services
CN108647910A (zh) 城市公交站点的设置方法、装置、终端及计算机存储介质
CN110083649A (zh) 一种基于冷、温、热数据的数据管理系统和数据管理方法
JP2015153123A (ja) アクセス制御プログラム、アクセス制御方法、およびアクセス制御装置
Irie et al. A novel automated tiered storage architecture for achieving both cost saving and qoe
Sun et al. SORD: a new strategy of online replica deduplication in Cloud-P2P
CN104376094A (zh) 一种考虑访问随机性的文件分级存储方法和系统
CN114048186A (zh) 一种基于海量数据的数据迁移方法及系统
CN101217690A (zh) 实现数据业务和数据信息分布存储的系统及方法
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及系统
CN102609508A (zh) 一种面向网络存储的文件高速访问方法
CN105635285A (zh) 一种基于状态感知的vm迁移调度方法
CN107346342A (zh) 一种基于存储计算的文件调用方法与系统
Kumar et al. An extended approach to Non-Replicated dynamic fragment allocation in distributed database systems
CN103095833A (zh) 云服务系统更新方法和装置
You et al. K‐ear: Extracting data access periodic characteristics for energy‐aware data clustering and storing in cloud storage systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120411