CN105653642A - 分布式文件系统的数据管理方法和装置 - Google Patents
分布式文件系统的数据管理方法和装置 Download PDFInfo
- Publication number
- CN105653642A CN105653642A CN201511000408.XA CN201511000408A CN105653642A CN 105653642 A CN105653642 A CN 105653642A CN 201511000408 A CN201511000408 A CN 201511000408A CN 105653642 A CN105653642 A CN 105653642A
- Authority
- CN
- China
- Prior art keywords
- data section
- data
- control number
- access
- acess control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/184—Distributed file systems implemented as replicated file system
- G06F16/1844—Management specifically adapted to replicated file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/119—Details of migration of file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式文件系统的数据管理方法和装置,该方法包括:在对文件对象进行访问时,记录文件对象中每个被访问的数据段的访问次数;统计预定统计周期内每个被访问的数据段的访问次数,得到预定统计周期内每个被访问的数据段的访问统计次数;将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。本发明通过以数据段为单位进行访问次数统计以及数据的迁移,避免了迁移数据过多的问题从而充分利用快速设备空间,并提高了热点数据的访问速度和性能。
Description
技术领域
本发明涉及分布式文件系统领域,具体来说,涉及一种分布式文件系统的数据管理方法和装置。
背景技术
分布式文件系统一般包含客户端,元数据服务器和数据服务器,客户端负责文件数据的访问接口制定,元数据服务器处理文件的布局及属性,数据服务器存储文件的数据内容。
对于分布式文件系统,可以存储海量数据是其最主要的特征,当系统中存储了大量的文件,而某些文件被作为上层应用的关键文件被频繁访问时,往往这些关键文件的访问延时决定了系统可以承载的IO数量,最典型的应用场景为虚拟机的应用,该场景下作为虚拟机的系统盘的文件的访问热度比普通文件要高很多,这样会造成对虚拟机的访问性能的下降。
传统解决方案是以文件为单位,直接统计文件的访问频次,并按文件为单位将文件迁移至快速设备,但是,在大多数情况下,只有文件中的某些数据段被频繁访问,而将整个文件进行直接迁移,显然会会大大的浪费快速设备的空间,而对无效的热点数据(即文件中访问频率低的数据段)的迁移也会影响热点数据的访问性能。
针对相关技术中的上述问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中的上述问题,本发明提出一种分布式文件系统的数据管理方法和装置,能够避免迁移数据过多的缺点,并提高热点数据的访问速度。
本发明的技术方案是这样实现的:
根据本发明的一个方面,提供了一种分布式文件系统的数据管理方法。
该数据管理方法包括:
在对文件对象进行访问时,记录文件对象中每个被访问的数据段的访问次数;
统计预定统计周期内每个被访问的数据段的访问次数,得到预定统计周期内每个被访问的数据段的访问统计次数;
将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。
可选的,该数据管理方法进一步包括:
在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备之前,对预定统计周期内每个被访问的数据段的访问次数作排序。
此外,该数据管理方法进一步包括:
将预定统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较。
对应的,在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备时,可将大于预定的统计次数阈值的访问统计次数确定为满足预定访问频度的访问统计次数;
然后,将满足预定访问频度的访问统计次数所对应的数据段设定为热点数据段;
并将热点数据段迁移至快设备。
此外,该数据管理方法进一步包括:
在预定统计周期内每个被访问的数据段的访问统计次数均小于预定的统计次数阈值的情况下,调整预定统计周期。
此外,该数据管理方法进一步包括:
按预定检测周期遍历快设备上的热点数据段的未访问间隔时间,其中,未访问间隔时间为该热点数据段距离当前时间最近一次的访问时间与当前时间的间隔时间;
将热点数据段的未访问间隔时间与预定最大未访问间隔时间作比较;
将未访问间隔时间大于预定最大未访问间隔时间的热点数据段从快设备迁移至慢设备。
根据本发明的另一方面,提供了一种分布式文件系统的数据管理装置。
该数据管理装置包括:
记录模块,用于在对文件对象进行访问时,记录文件对象中每个被访问的数据段的访问次数;
统计模块,用于统计预定统计周期内每个被访问的数据段的访问次数,得到预定统计周期内每个被访问的数据段的访问统计次数;
迁移模块,用于将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。
此外,该数据管理装置进一步包括:
排序模块,用于在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备之前,对预定统计周期内每个被访问的数据段的访问次数作排序。
另外,该数据管理装置进一步包括:
比较模块,用于将预定统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较。
其中,该迁移模块包括:
确定模块,用于将大于预定的统计次数阈值的访问统计次数确定为满足预定访问频度的访问统计次数;
设定模块,用于将满足预定访问频度的访问统计次数所对应的数据段设定为热点数据段;
迁移子模块,用于将热点数据段迁移至快设备。
本发明通过以数据段为单位进行访问次数统计以及数据的迁移,避免了迁移数据过多的问题从而充分利用快速设备空间,并提高了热点数据的访问速度和性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的分布式文件系统的数据管理方法的流程图;
图2是根据本发明另一实施例的分布式文件系统的数据管理方法的流程图;
图3是根据本发明实施例的分布式文件系统的数据管理装置的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
根据本发明的实施例,提供了一种分布式文件系统的数据管理方法。
如图1所示,根据本发明实施例的数据管理方法包括:
步骤S101,在对文件对象进行访问时,记录文件对象中每个被访问的数据段的访问次数;
步骤S103,统计预定统计周期内每个被访问的数据段的访问次数,得到预定统计周期内每个被访问的数据段的访问统计次数;
步骤S105,将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。
为了更好的理解本发明的上述实施例,下面结合图2来对本发明的上述技术方案进行详细阐述。
从图2可以看出,本发明的分布式文件系统包括客户端、元数据服务器和多个数据服务器(即数据节点1~3,实际应用中对数据节点的数量不作限定)。
为了提高热数据的访问速度以及充分利用快设备的存储空间,根据本发明实施例的数据管理方法包括以下步骤:
1、当数据节点的文件被读写(即被访问)时,客户端会向数据节点(1~3)发起读写的请求;
2、数据节点根据热点指定的统计单位(即文件的数据段为单位),对读写到的文件对象中读写到的数据段分别做访问次数统计,即记录文件对象中每个被访问的数据段的访问次数;
3、元数据服务器按设定的统计周期向每个数据节点发送收集统计信息的命令,以从每个数据节点收集其被访问的每个数据段的在该统计周期内的访问统计次数;
4、元数据服务器收集完每个数据节点的每个被访问的数据段在该统计周期内的访问统计次数后,将每个数据段按访问频次做排序;
5、排序后,从该统计周期内所有被访问的数据段中筛选出热点数据段,具体为:将该统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较,将大于该预定的统计次数阈值的访问统计次数确定为满足预定访问频度的访问统计次数;将满足预定访问频度的访问统计次数所对应的数据段筛选为热点数据段;
6、元数据服务器将热点数据段迁移到快设备上;
7、而若该统计周期内无热点数据被筛选出(即在预定统计周期内每个被访问的数据段的访问统计次数均小于预定的统计次数阈值的情况下),则调整该预定统计周期(可以延长或缩短统计周期),重复步骤3~6。
其中,对于上述步骤2的具体实现来说,在一个实施例中,在由数据节点对其所包含的数据段进行访问次数的记录以及对上述预定统计周期内每个被访问的数据段的访问次数进行统计时可以采用如下方案:
例如,客户端对数据节点上的数据段每秒的访问次数为5万次,并为每个数据段的记录的访问次数分配16B的存储空间,则T时间(即上述预定统计周期)内需要内存为16*T*50000B,并分配这样的内存数组{key1=inodeID,key2=访问次数},T时间内访问的数据段均放到连续的这块数组里,T时间结束后以inodeID为关键字做快速排序,则可将相同的访问的数据段相邻的排列,然后合并相同的inodeID的访问次数(即同一数据段在T时间内的访问次数之和),并将每个数据段的访问统计次数(作为新Key2)写到该内存里;然后再以访问统计次数Key2为关键字做快速排序,选出前N个热数据段(即将访问统计次数大于预定的统计次数阈值的数据段),该内存可循环进行下一轮的使用。整个过程是无锁访问,只需用一个原子变量,对业务几乎无影响。
此外,为了避免存储在快设备上的热数据段的访问次数已经变低,降低快设备的空间利用效率,根据本发明实施例的数据管理方法还可包括对快设备上的热数据的迁出策略,具体包括:
元数据服务器按预定检测周期遍历快设备上的热点数据段的未访问间隔时间,其中,未访问间隔时间为该热点数据段距离当前时间最近一次的访问时间与当前时间的间隔时间;并将热点数据段的未访问间隔时间与预定最大未访问间隔时间作比较;将未访问间隔时间大于预定最大未访问间隔时间的热点数据段从快设备迁移至慢设备。
由此可见,本发明通过以文件的区间段为单位来统计数据的访问频度,并以此为单位进行数据的迁移,并通过动态的调整统计的周期,对同一统计周期内数据段访问次数做记录,并排序找出前N个,若满足设定的访问频度则认为其为热点,然后通过数据迁移的技术将这些区间段迁移到指定的快设备上。既杜绝了以文件为单位的热点时迁移数据过多且存在非热点内容的缺点,又减少以页面为单位的热点过于分散无法迁移的问题,而动态调整的统计周期又保证了尽可能准确的统计到真正的热点,从而提高热点数据的访问速度。
根据本发明的实施例,还提供了一种分布式文件系统的数据管理装置。
如图3所示,根据本发明实施例的数据管理装置包括:
记录模块31,用于在对文件对象进行访问时,记录文件对象中每个被访问的数据段的访问次数;
统计模块32,用于统计预定统计周期内每个被访问的数据段的访问次数,得到预定统计周期内每个被访问的数据段的访问统计次数;
迁移模块33,用于将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。
此外,在一个实施例中,根据本发明实施例的数据管理装置进一步包括:
排序模块(未示出),用于在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备之前,对预定统计周期内每个被访问的数据段的访问次数作排序。
另外,在一个实施例中,根据本发明实施例的数据管理装置进一步包括:
比较模块(未示出),用于将预定统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较。
其中,在一个实施例中,根据本发明实施例的迁移模块包括:
确定模块(未示出),用于将大于预定的统计次数阈值的访问统计次数确定为满足预定访问频度的访问统计次数;
设定模块(未示出),用于将满足预定访问频度的访问统计次数所对应的数据段设定为热点数据段;
迁移子模块(未示出),用于将热点数据段迁移至快设备。
综上所述,借助于本发明的上述技术方案,通过以数据段为单位进行访问次数统计以及数据的迁移,既避免了迁移数据过多且存在非热点内容的缺点,又杜绝了以页面为单位的热点过于分散无法迁移的问题,从而提高热点数据的访问速度;并且配合自适应的统计周期,在大多数情况下可以精确的找到文件中的热点段,并迁移到快速设备上,从而充分利用快速设备空间,尽可能的提升了应用的访问速度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种分布式文件系统的数据管理方法,其特征在于,包括:
在对文件对象进行访问时,记录所述文件对象中每个被访问的数据段的访问次数;
统计预定统计周期内所述每个被访问的数据段的访问次数,得到所述预定统计周期内每个被访问的数据段的访问统计次数;
将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。
2.根据权利要求1所述的数据管理方法,其特征在于,在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备之前,进一步包括:
对所述预定统计周期内每个被访问的数据段的访问次数作排序。
3.根据权利要求1或2所述的数据管理方法,其特征在于,进一步包括:
将所述预定统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较。
4.根据权利要求3所述的数据管理方法,其特征在于,将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备包括:
将大于所述预定的统计次数阈值的访问统计次数确定为所述满足预定访问频度的访问统计次数;
将满足所述预定访问频度的访问统计次数所对应的数据段设定为热点数据段;
将所述热点数据段迁移至快设备。
5.根据权利要求3所述的数据管理方法,其特征在于,进一步包括:
在所述预定统计周期内每个被访问的数据段的访问统计次数均小于所述预定的统计次数阈值的情况下,调整所述预定统计周期。
6.根据权利要求4所述的数据管理方法,其特征在于,进一步包括:
按预定检测周期遍历所述快设备上的热点数据段的未访问间隔时间,其中,所述未访问间隔时间为该热点数据段距离当前时间最近一次的访问时间与当前时间的间隔时间;
将所述热点数据段的未访问间隔时间与预定最大未访问间隔时间作比较;
将未访问间隔时间大于所述预定最大未访问间隔时间的热点数据段从所述快设备迁移至慢设备。
7.一种分布式文件系统的数据管理装置,其特征在于,包括:
记录模块,用于在对文件对象进行访问时,记录所述文件对象中每个被访问的数据段的访问次数;
统计模块,用于统计预定统计周期内所述每个被访问的数据段的访问次数,得到所述预定统计周期内每个被访问的数据段的访问统计次数;
迁移模块,用于将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。
8.根据权利要求7所述的数据管理装置,其特征在于,进一步包括:
排序模块,用于在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备之前,对所述预定统计周期内每个被访问的数据段的访问次数作排序。
9.根据权利要求7或8所述的数据管理装置,其特征在于,进一步包括:
比较模块,用于将所述预定统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较。
10.根据权利要求9所述的数据管理装置,其特征在于,所述迁移模块包括:
确定模块,用于将大于所述预定的统计次数阈值的访问统计次数确定为所述满足预定访问频度的访问统计次数;
设定模块,用于将满足所述预定访问频度的访问统计次数所对应的数据段设定为热点数据段;
迁移子模块,用于将所述热点数据段迁移至快设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511000408.XA CN105653642A (zh) | 2015-12-25 | 2015-12-25 | 分布式文件系统的数据管理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511000408.XA CN105653642A (zh) | 2015-12-25 | 2015-12-25 | 分布式文件系统的数据管理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105653642A true CN105653642A (zh) | 2016-06-08 |
Family
ID=56478045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511000408.XA Pending CN105653642A (zh) | 2015-12-25 | 2015-12-25 | 分布式文件系统的数据管理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105653642A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106502789A (zh) * | 2016-10-12 | 2017-03-15 | 阔地教育科技有限公司 | 一种资源访问方法及装置 |
CN106775461A (zh) * | 2016-11-30 | 2017-05-31 | 华为技术有限公司 | 热点数据确定方法、设备及装置 |
CN107133128A (zh) * | 2017-05-11 | 2017-09-05 | 上海新储集成电路有限公司 | 一种数据云存储系统及方法 |
CN107451042A (zh) * | 2017-07-31 | 2017-12-08 | 郑州云海信息技术有限公司 | 一种基于租约锁机制的本地缓存方法及装置 |
CN107783974A (zh) * | 2016-08-24 | 2018-03-09 | 阿里巴巴集团控股有限公司 | 数据处理系统及方法 |
CN107948337A (zh) * | 2018-01-09 | 2018-04-20 | 京东方科技集团股份有限公司 | 电子文件传输方法、装置、系统及计算机可读存储介质 |
CN108021585A (zh) * | 2016-10-28 | 2018-05-11 | 腾讯科技(深圳)有限公司 | 分布式数据存储方法和装置 |
CN108073472A (zh) * | 2017-12-12 | 2018-05-25 | 华中科技大学 | 一种基于热度感知的内存纠删码分布方法 |
CN108073636A (zh) * | 2016-11-15 | 2018-05-25 | 中国移动通信集团公司 | 一种数据管理的方法及装置、数据库一体机 |
CN108197184A (zh) * | 2017-12-25 | 2018-06-22 | 深圳天珑无线科技有限公司 | 文件存储的方法及文件存储设备、存储装置 |
CN110162273A (zh) * | 2019-05-28 | 2019-08-23 | 北京计算机技术及应用研究所 | 一种基于分布式存储系统的衰减式分层存储系统及方法 |
CN111158613A (zh) * | 2020-04-07 | 2020-05-15 | 上海飞旗网络技术股份有限公司 | 基于访问热度的数据块存储方法、装置及存储设备 |
CN113179222A (zh) * | 2021-04-30 | 2021-07-27 | 康键信息技术(深圳)有限公司 | 热点数据的限流控制方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120054248A1 (en) * | 2010-08-25 | 2012-03-01 | International Business Machines Corporation | Database Rebalancing in Hybrid Storage Environment |
CN102821113A (zh) * | 2011-06-07 | 2012-12-12 | 阿里巴巴集团控股有限公司 | 缓存方法及系统 |
CN102841931A (zh) * | 2012-08-03 | 2012-12-26 | 中兴通讯股份有限公司 | 分布式文件系统的存储方法及装置 |
CN103744623A (zh) * | 2014-01-10 | 2014-04-23 | 浪潮电子信息产业股份有限公司 | 一种实现存储系统ssd缓存的数据智能降级的方法 |
CN103795756A (zh) * | 2012-10-31 | 2014-05-14 | 中国电信股份有限公司 | 分层存储方法和系统、对象访问控制器 |
CN104268099A (zh) * | 2014-08-29 | 2015-01-07 | 浪潮(北京)电子信息产业有限公司 | 一种管理数据读写的方法及装置 |
CN104978362A (zh) * | 2014-04-11 | 2015-10-14 | 中兴通讯股份有限公司 | 分布式文件系统的数据迁移方法、装置及元数据服务器 |
CN105045894A (zh) * | 2015-07-31 | 2015-11-11 | 中国科学院计算技术研究所 | 一种面向分布式顺序表的缓存方法及系统 |
-
2015
- 2015-12-25 CN CN201511000408.XA patent/CN105653642A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120054248A1 (en) * | 2010-08-25 | 2012-03-01 | International Business Machines Corporation | Database Rebalancing in Hybrid Storage Environment |
CN102821113A (zh) * | 2011-06-07 | 2012-12-12 | 阿里巴巴集团控股有限公司 | 缓存方法及系统 |
CN102841931A (zh) * | 2012-08-03 | 2012-12-26 | 中兴通讯股份有限公司 | 分布式文件系统的存储方法及装置 |
CN103795756A (zh) * | 2012-10-31 | 2014-05-14 | 中国电信股份有限公司 | 分层存储方法和系统、对象访问控制器 |
CN103744623A (zh) * | 2014-01-10 | 2014-04-23 | 浪潮电子信息产业股份有限公司 | 一种实现存储系统ssd缓存的数据智能降级的方法 |
CN104978362A (zh) * | 2014-04-11 | 2015-10-14 | 中兴通讯股份有限公司 | 分布式文件系统的数据迁移方法、装置及元数据服务器 |
CN104268099A (zh) * | 2014-08-29 | 2015-01-07 | 浪潮(北京)电子信息产业有限公司 | 一种管理数据读写的方法及装置 |
CN105045894A (zh) * | 2015-07-31 | 2015-11-11 | 中国科学院计算技术研究所 | 一种面向分布式顺序表的缓存方法及系统 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107783974A (zh) * | 2016-08-24 | 2018-03-09 | 阿里巴巴集团控股有限公司 | 数据处理系统及方法 |
CN106502789A (zh) * | 2016-10-12 | 2017-03-15 | 阔地教育科技有限公司 | 一种资源访问方法及装置 |
CN108021585B (zh) * | 2016-10-28 | 2022-01-18 | 腾讯科技(深圳)有限公司 | 分布式数据存储方法和装置 |
CN108021585A (zh) * | 2016-10-28 | 2018-05-11 | 腾讯科技(深圳)有限公司 | 分布式数据存储方法和装置 |
CN108073636A (zh) * | 2016-11-15 | 2018-05-25 | 中国移动通信集团公司 | 一种数据管理的方法及装置、数据库一体机 |
CN106775461A (zh) * | 2016-11-30 | 2017-05-31 | 华为技术有限公司 | 热点数据确定方法、设备及装置 |
CN107133128A (zh) * | 2017-05-11 | 2017-09-05 | 上海新储集成电路有限公司 | 一种数据云存储系统及方法 |
CN107451042A (zh) * | 2017-07-31 | 2017-12-08 | 郑州云海信息技术有限公司 | 一种基于租约锁机制的本地缓存方法及装置 |
CN108073472B (zh) * | 2017-12-12 | 2020-05-19 | 华中科技大学 | 一种基于热度感知的内存纠删码分布方法 |
CN108073472A (zh) * | 2017-12-12 | 2018-05-25 | 华中科技大学 | 一种基于热度感知的内存纠删码分布方法 |
CN108197184A (zh) * | 2017-12-25 | 2018-06-22 | 深圳天珑无线科技有限公司 | 文件存储的方法及文件存储设备、存储装置 |
CN107948337B (zh) * | 2018-01-09 | 2021-01-15 | 京东方科技集团股份有限公司 | 电子文件传输方法、装置、系统及计算机可读存储介质 |
CN107948337A (zh) * | 2018-01-09 | 2018-04-20 | 京东方科技集团股份有限公司 | 电子文件传输方法、装置、系统及计算机可读存储介质 |
US11200616B2 (en) | 2018-01-09 | 2021-12-14 | Boe Technology Group Co., Ltd. | Electronic file transmission method, device, system, and computer readable storage medium |
CN110162273A (zh) * | 2019-05-28 | 2019-08-23 | 北京计算机技术及应用研究所 | 一种基于分布式存储系统的衰减式分层存储系统及方法 |
CN111158613A (zh) * | 2020-04-07 | 2020-05-15 | 上海飞旗网络技术股份有限公司 | 基于访问热度的数据块存储方法、装置及存储设备 |
CN111158613B (zh) * | 2020-04-07 | 2020-07-31 | 上海飞旗网络技术股份有限公司 | 基于访问热度的数据块存储方法、装置及存储设备 |
CN113179222A (zh) * | 2021-04-30 | 2021-07-27 | 康键信息技术(深圳)有限公司 | 热点数据的限流控制方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105653642A (zh) | 分布式文件系统的数据管理方法和装置 | |
CN110825324B (zh) | 混合存储的控制方法及混合存储系统 | |
CN107807796B (zh) | 一种基于超融合存储系统的数据分层方法、终端及系统 | |
JP6322722B2 (ja) | 可変ストライプサイズを使用するファイル格納 | |
JP6259532B2 (ja) | 分散格納システムにおける名前空間管理 | |
JP6371858B2 (ja) | 複数エクステント動作のための原子書き込み | |
CN104850358B (zh) | 一种磁光电混合存储系统及其数据获取和存储方法 | |
CN113296696B (zh) | 一种数据的访问方法、计算设备及存储介质 | |
CN105549905A (zh) | 一种多虚拟机访问分布式对象存储系统的方法 | |
CN106201355A (zh) | 数据处理方法和装置以及存储系统 | |
CN109947363B (zh) | 一种分布式存储系统的数据缓存方法 | |
WO2022016861A1 (zh) | 一种热点数据缓存方法、系统及相关装置 | |
BR112016022636B1 (pt) | Sistema distribuído de armazenamento, método de gerenciamento de sessão em sistema distribuído de armazenamento, e, meio de armazenamento acessível por computador não transitório | |
US20160364407A1 (en) | Method and Device for Responding to Request, and Distributed File System | |
CN103488685B (zh) | 一种基于分布式存储系统的碎片文件存储方法 | |
CN104503703B (zh) | 缓存的处理方法和装置 | |
CN105786401A (zh) | 服务器集群系统中的数据管理方法及装置 | |
CN104331453A (zh) | 一种分布式文件系统及分布式文件系统的构建方法 | |
CN107368608A (zh) | 基于arc替换算法的hdfs小文件缓存管理方法 | |
CN101976181A (zh) | 一种存储资源的管理方法及管理装置 | |
CN104424118B (zh) | 热点文件自适应拷贝方法及系统 | |
CN104536903A (zh) | 一种按数据属性分类存放的混合存储方法及系统 | |
CN103399823A (zh) | 业务数据的存储方法、设备和系统 | |
CN107133228A (zh) | 一种数据重分布的方法及装置 | |
CN111240890B (zh) | 数据处理方法、快照处理方法、装置及计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160608 |
|
RJ01 | Rejection of invention patent application after publication |