CN111858481A - 一种分布式文件系统热度统计方法、装置 - Google Patents

一种分布式文件系统热度统计方法、装置 Download PDF

Info

Publication number
CN111858481A
CN111858481A CN202010580330.8A CN202010580330A CN111858481A CN 111858481 A CN111858481 A CN 111858481A CN 202010580330 A CN202010580330 A CN 202010580330A CN 111858481 A CN111858481 A CN 111858481A
Authority
CN
China
Prior art keywords
heat
file
files
pool
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010580330.8A
Other languages
English (en)
Inventor
刘洪栋
肖国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010580330.8A priority Critical patent/CN111858481A/zh
Publication of CN111858481A publication Critical patent/CN111858481A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/144—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种分布式文件系统热度统计方、装置，该方法包括如下步骤：根据文件的热度值，将文件分配至快速池和慢速池；接收定时上报的文件的热度值并更新热度表中对应文件的热度值；快速池的文件通过对相应文件对应的热度表进行定期扫描触发更新热度值；慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。快速池文件分两级结构存储，便于快速查找快速池中冷文件。慢速池访问触发式更新热度值，减少了全量扫描速度慢的问题。

Description

一种分布式文件系统热度统计方法、装置
技术领域
本发明涉及分布式文件系统技术领域，具体涉及一种分布式文件系统热度统计方法、装置。
背景技术
分布式集群存储在当前大文件多种场景下(如视频监控、广电媒资、高性能等)广泛应用。分布式文件系统中存在海量文件，迫切需要区分冷热文件，并根据冷热文件进行分级存储，将热点文件存储在小容量的快速池(比如SSD池)，而冷文件淘汰进入大容量的慢池子(比如HDD池)。在海量文件场景，如何快速定位冷热文件成为分级存储的关键技术难题。
发明内容
在海量文件场景，如何快速定位冷热文件成为分级存储的关键技术难题，本发明提供一种分布式文件系统热度统计方法、装置。
本发明的技术方案是：
一方面，本发明技术方案提供一种分布式文件系统热度统计方法，包括如下步骤：
根据文件的热度值，将文件分配至快速池和慢速池；
接收定时上报的文件的热度值并更新热度表中对应文件的热度值；
快速池的文件通过对相应文件对应的热度表进行定期扫描触发更新热度值；慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。
提出了冷热文件区分判断方式，即对于快速池中的文件全量保存，通过定时扫描找到快速池中最冷的文件；而对于慢速池中的文件可以不保存，采用访问触发式，当热度值大于设定的热阈值时，则进行迁移。
优选地，快速池的文件通过对文件对应的热度表进行定期扫描触发更新热度值的步骤包括：
定期对快速池中文件对应的热度表进行扫描，并根据时间按预设规则进行热度衰减操作；
热度衰减后，当热度值小于设定的冷阈值时，将该热度值对应的文件放入待迁移慢速池队列，进行文件迁移；
迁移完成后，更新热度表及热度表中文件对应热度值。
优选地，慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值的步骤包括：
当接收到上报的文件热度值时,根据时间按预设规则进行热度衰减操作,热度衰减后，判断热度值是否大于设定的热阈值，若是，将该热度值对应的文件放入待迁移快速池队列，进行文件迁移，若否，将该文件存入慢速池缓存中；
当访问慢速池缓存中文件时，根据时间按预设规则进行热度衰减操作；热度衰减后，当热度值大于设定的热阈值时，将该热度值对应的文件放入待迁移快速池队列，进行文件迁移；
迁移完成后，清理热度表中该文件对应的热度值。访问慢速池缓存中文件，并且热度表只存储缓存中文件的热度值。触发式更新热度值，减少了全量扫描速度慢的问题。
优选地，便于快速查找快速池中冷文件，即热度值最小的文件，热度表为两级结构存储，其中，一级结构存储目录的热度信息，目录的热度信息为目录下所有文件热度最小值；
二级结构存储对应目录下每个文件的热度信息。
优选地，定期对快速池中文件对应的热度表进行扫描，并根据时间按预设规则进行热度衰减操作的步骤中，对快速池中文件对应的热度表进行扫描的步骤包括：
扫描一级结构存储的目录下所有文件热度最小值，若目录下所有文件热度最小值大于冷阈值，则不需要扫描二级结构，否则，扫描对应目录下每个文件的热度信息。
优选地，该方法中通过热度衰减公式进行热度衰减，热度衰减公式为：
Figure BDA0002552939590000041
其中Rnew为新的热度值，Rold为衰减前的热度值，t为时间，half为半衰期参数。
另一方面，本发明技术方案提供一种分布式文件系统热度统计装置，包括分配模块、热度表更新模块、快速池热度处理模块和慢速池热度处理模块；
分配模块，用于根据文件的热度值，将文件分配至快速池和慢速池；
热度表处理模块，用于接收定时上报的文件热度值并更新热度表中对应文件的热度值；
快速池热度处理模块，用于将快速池的文件通过对文件对应的热度表进行定期扫描触发更新热度值；
慢速池热度处理模块，用于将慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。
优选地，快速池热度处理模块包括：扫描模块、第一处理模块、第一判断模块、第一迁移模块；
扫描模块，定期对快速池中文件对应的热度表进行扫描；
第一处理模块，用于根据时间按预设规则进行热度衰减操作；
第一判断模块，用于热度衰减后，判断热度值是否小于设定的冷阈值，若是，将该热度值对应的文件放入待迁移慢速池队列；
第一迁移模块，用于将待迁移慢速池队列的文件迁移到慢速池；
热度表更新模块，还用于待迁移慢速池队列的文件迁移到慢速池后，更新热度表及热度表中文件对应热度值。
优选地，慢速池热度处理模块包括第二处理模块、第二判断模块、第二迁移模块；
第二处理模块，用于当接收到上报的文件热度值时,根据时间按预设规则进行热度衰减操作；还用于当访问慢速池缓存中文件时，根据时间按预设规则进行热度衰减操作；
第二判断模块，用于热度衰减后，判断热度值是否大于设定的热阈值，若是，将该热度值对应的文件放入待迁移快速池队列，若否，将该文件存入慢速池缓存中；
第二迁移模块，用于将待迁移快速池队列的文件迁移到快速池；
热度表更新模块，还用于待迁移快速池队列的文件迁移到快速池后，清理热度表中该文件对应的热度值。访问慢速池缓存中文件时进行热度衰减，并且热度表只存储缓存中文件的热度值。
优选地，热度表为两级结构存储，其中，一级结构，用于存储目录的热度信息，目录的热度信息为目录下所有文件热度最小值；
二级结构，用于存储对应目录下每个文件的热度信息。
优选地，扫描模块，具体用于扫描一级结构存储的目录下所有文件热度最小值，若目录下所有文件热度最小值大于冷阈值，则不需要扫描二级结构，否则，扫描对应目录下每个文件的热度信息。
从以上技术方案可以看出，本发明具有以下优点：针对文件的热度统计，提出了冷热文件区分判断方式。即对于快速池的文件全量保存，以便于找到快速池中最冷的文件；而对于慢速池中的文件可以不保存，采用访问触发式，当热度值大于热阈值，则进行迁移。快速池文件分两层结构存储，便于快速查找快速池中冷文件。慢速池文件根据时间进行热度衰减，触发式更新热度值，减少了全量扫描速度慢的问题。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，本发明实施例提供一种分布式文件系统热度统计方法，包括如下步骤：
根据文件的热度值，将文件分配至快速池和慢速池；
接收定时上报的文件的热度值并更新热度表中对应文件的热度值；
快速池的文件通过对相应文件对应的热度表进行定期扫描触发更新热度值；慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。
提出了冷热文件区分判断方式，即对于快速池中的文件全量保存，通过定时扫描找到快速池中最冷的文件；而对于慢速池中的文件可以不保存，采用访问触发式，当热度值大于设定的热阈值时，则进行迁移。
需要说明的是，有些实施例中，快速池的文件通过对文件对应的热度表进行定期扫描触发更新热度值的步骤包括：
S2-11定期对快速池中文件对应的热度表进行扫描，并根据时间按预设规则进行热度衰减操作；
S2-12：热度衰减后，当热度值小于设定的冷阈值时，将该热度值对应的文件放入待迁移慢速池队列；
S2-13：将待迁移慢速池队列中的文件迁移到慢速池；
S2-14：迁移完成后，更新热度表及热度表中文件对应热度值。
另外，慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值的步骤包括：
S2-21：当接收到上报的文件热度值时,根据时间按预设规则进行热度衰减操作,热度衰减后，判断热度值是否大于设定的热阈值，若是，将该热度值对应的文件放入待迁移快速池队列，进行文件迁移，若否，将该文件存入慢速池缓存中；
S2-22：当访问慢速池缓存中文件时，根据时间按预设规则进行热度衰减操作；热度衰减后，当热度值大于设定的热阈值时，将该热度值对应的文件放入待迁移快速池队列，进行文件迁移；
S2-23：迁移完成后，清理热度表中该文件对应的热度值。
有些实施例中，为了便于快速查找快速池中冷文件，即热度值最小的文件，热度表为两级结构存储，其中，一级结构存储目录的热度信息map<dirfrag,pop_min>hot_pool，pop_min为目录下所有文件热度最小值；
二级结构存储对应目录下每个文件的热度信息(map<ino,pop>)。
进一步需要说明的是，定期对快速池中文件对应的热度表进行扫描，并根据时间按预设规则进行热度衰减操作的步骤中，扫描快速池中文件对应的热度表的步骤包括：
扫描一级结构存储的目录下所有文件热度最小值，若目录下所有文件热度最小值大于冷阈值，则不需要扫描二级结构，否则，扫描对应目录下每个文件的热度信息。
有些实施例中，热度衰减方式：按照半衰方式衰减热度，例如，文件1秒内被访问，就会加热度+1；超过1秒没有访问，先衰减，再+1；1秒一次限制热度计算的目的是防止计算频率过快，降低CPU消耗。
通过热度衰减公式进行热度衰减，热度衰减公式为：
Figure BDA0002552939590000091
其中Rnew为新的热度值，Rold为衰减前的热度值，t为时间，half为半衰期参数。
进一步需要说明的是，本发明提供的实施例中，由于慢速池容量太大，存储全部文件热度值过于庞大，故而只根据缓存中热度判断；访问慢速池缓存中文件，并且热度表只存储缓存中文件的热度值。触发式更新热度值，减少了全量扫描速度慢的问题。慢速池中文件热度信息不存储，每个热度表文件结构中缓存热度值，不落盘存储，文件缓存被老化后，可以认为热度值很小不必要保存；也就是说，慢速池中，不在缓存中的文件不进行本专利提供方法的热度统计。
本发明实施例还提供一种分布式文件系统热度统计装置，包括分配模块、热度表更新模块、快速池热度处理模块和慢速池热度处理模块；
分配模块，用于根据文件的热度值，将文件分配至快速池和慢速池；
热度表处理模块，用于接收定时上报的文件热度值并更新热度表中对应文件的热度值；
快速池热度处理模块，用于将快速池的文件通过对文件对应的热度表进行定期扫描触发更新热度值；
慢速池热度处理模块，用于将慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。
需要说明的是，有些事实例中，快速池热度处理模块包括：扫描模块、第一处理模块、第一判断模块、第一迁移模块；
扫描模块，定期对快速池中文件对应的热度表进行扫描；
第一处理模块，用于根据时间按预设规则进行热度衰减操作；
第一判断模块，用于热度衰减后，判断热度值是否小于设定的冷阈值，若是，将该热度值对应的文件放入待迁移慢速池队列；
第一迁移模块，用于将待迁移慢速池队列的文件迁移到慢速池；
此时，热度表更新模块，还用于待迁移慢速池队列的文件迁移到慢速池后，更新热度表及热度表中文件对应热度值。
另外的，慢速池热度处理模块包括第二处理模块、第二判断模块、第二迁移模块；
第二处理模块，用于当接收到上报的文件热度值时,根据时间按预设规则进行热度衰减操作；还用于当访问慢速池缓存中文件时，根据时间按预设规则进行热度衰减操作；
第二判断模块，用于热度衰减后，判断热度值是否大于设定的热阈值，若是，将该热度值对应的文件放入待迁移快速池队列，若否，将该文件存入慢速池缓存中；
第二迁移模块，用于将待迁移快速池队列的文件迁移到快速池；
在此时，热度表更新模块，还用于待迁移快速池队列的文件迁移到快速池后，清理热度表中该文件对应的热度值。
需要说明的是，热度表为两级结构存储，其中，一级结构，用于存储目录的热度信息，目录的热度信息为目录下所有文件热度最小值；
二级结构，用于存储对应目录下每个文件的热度信息。
扫描模块，具体用于扫描一级结构存储的目录下所有文件热度最小值，若目录下所有文件热度最小值大于冷阈值，则不需要扫描二级结构，否则，扫描对应目录下每个文件的热度信息。
访问慢速池缓存中文件时进行热度衰减，并且热度表只存储缓存中文件的热度值；还用于通过热度衰减公式进行热度衰减，热度衰减公式为：
Figure BDA0002552939590000121
其中Rnew为新的热度值，Rold为衰减前的热度值，t为时间，half为半衰期参数。
快速池中的文件分两层结构存储，便于快速查找快速池中冷文件。慢素池中的文件根据时间进行热度衰减，触发式更新热度值，减少了全量扫描速度慢的问题。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种分布式文件系统热度统计方法，其特征在于，包括如下步骤：
根据文件的热度值，将文件分配至快速池和慢速池；
接收定时上报的文件的热度值并更新热度表中对应文件的热度值；
快速池的文件通过对相应文件对应的热度表进行定期扫描触发更新热度值；慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。
2.根据权利要求1所述的一种分布式文件系统热度统计方法，其特征在于，快速池的文件通过对相应文件对应的热度表进行定期扫描触发更新热度值的步骤包括：
定期对快速池中文件对应的热度表进行扫描，并根据时间按预设规则进行热度衰减操作；
热度衰减后，当热度值小于设定的冷阈值时，将该热度值对应的文件放入待迁移慢速池队列，进行文件迁移；
迁移完成后，更新热度表及热度表中文件对应热度值。
3.根据权利要求1所述的一种分布式文件系统热度统计方法，其特征在于，慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值的步骤包括：
当接收到上报的文件热度值时,根据时间按预设规则进行热度衰减操作,热度衰减后，判断热度值是否大于设定的热阈值，若是，将该热度值对应的文件放入待迁移快速池队列，进行文件迁移，若否，将该文件存入慢速池缓存中；
当访问慢速池缓存中文件时，根据时间按预设规则进行热度衰减操作；热度衰减后，当热度值大于设定的热阈值时，将该热度值对应的文件放入待迁移快速池队列，进行文件迁移；
迁移完成后，清理热度表中该文件对应的热度值。
4.根据权利要求1所述的一种分布式文件系统热度统计方法，其特征在于，热度表为两级结构存储，其中，一级结构存储目录的热度信息，目录的热度信息为目录下所有文件热度最小值；
二级结构存储对应目录下每个文件的热度信息。
5.根据权利要求2所述的一种分布式文件系统热度统计方法，其特征在于，定期对快速池中文件对应的热度表进行扫描，并根据时间按预设规则进行热度衰减操作的步骤中，对快速池中文件对应的热度表进行扫描的步骤包括：
扫描一级结构存储的目录下所有文件热度最小值，若目录下所有文件热度最小值大于冷阈值，则不需要扫描二级结构，否则，扫描对应目录下每个文件的热度信息。
6.根据权利要求2或3所述的一种分布式文件系统热度统计方法，其特征在于，对文件的热度值按预设规则进行衰减操作的步骤包括：
通过热度衰减公式进行热度衰减，热度衰减公式为：
Figure FDA0002552939580000031
其中Rnew为新的热度值，Rold为衰减前的热度值，t为时间，half为半衰期参数。
7.一种分布式文件系统热度统计装置，其特征在于，包括分配模块、热度表更新模块、快速池热度处理模块和慢速池热度处理模块；
分配模块，用于根据文件的热度值，将文件分配至快速池和慢速池；
热度表处理模块，用于接收定时上报的文件热度值并更新热度表中对应文件的热度值；
快速池热度处理模块，用于将快速池的文件通过对文件对应的热度表进行定期扫描触发更新热度值；
慢速池热度处理模块，用于将慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。
8.根据权利要求7所述的一种分布式文件系统热度统计装置，其特征在于，快速池热度处理模块包括：扫描模块、第一处理模块、第一判断模块、第一迁移模块；
扫描模块，定期对快速池中文件对应的热度表进行扫描；
第一处理模块，用于根据时间按预设规则进行热度衰减操作；
第一判断模块，用于热度衰减后，判断热度值是否小于设定的冷阈值，若是，将该热度值对应的文件放入待迁移慢速池队列；
第一迁移模块，用于将待迁移慢速池队列的文件迁移到慢速池；
热度表更新模块，还用于待迁移慢速池队列的文件迁移到慢速池后，更新热度表及热度表中文件对应热度值。
9.根据权利要求7所述的一种分布式文件系统热度统计方法，其特征在于，慢速池热度处理模块包括第二处理模块、第二判断模块、第二迁移模块；
第二处理模块，用于当接收到上报的文件热度值时,根据时间按预设规则进行热度衰减操作；还用于当访问慢速池缓存中文件时，根据时间按预设规则进行热度衰减操作；
第二判断模块，用于热度衰减后，判断热度值是否大于设定的热阈值，若是，将该热度值对应的文件放入待迁移快速池队列，若否，将该文件存入慢速池缓存中；
第二迁移模块，用于将待迁移快速池队列的文件迁移到快速池；
热度表更新模块，还用于待迁移快速池队列的文件迁移到快速池后，清理热度表中该文件对应的热度值。
10.根据权利要求8所述的一种分布式文件系统热度统计装置，其特征在于，热度表为两级结构存储，其中，一级结构，用于存储目录的热度信息，目录的热度信息为目录下所有文件热度最小值；
二级结构，用于存储对应目录下每个文件的热度信息；
扫描模块，具体用于扫描一级结构存储的目录下所有文件热度最小值，若目录下所有文件热度最小值大于冷阈值，则不需要扫描二级结构，否则，扫描对应目录下每个文件的热度信息。
CN202010580330.8A 2020-06-23 2020-06-23 一种分布式文件系统热度统计方法、装置 Withdrawn CN111858481A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010580330.8A CN111858481A (zh) 2020-06-23 2020-06-23 一种分布式文件系统热度统计方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010580330.8A CN111858481A (zh) 2020-06-23 2020-06-23 一种分布式文件系统热度统计方法、装置

Publications (1)

Publication Number Publication Date
CN111858481A true CN111858481A (zh) 2020-10-30

Family

ID=72988423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010580330.8A Withdrawn CN111858481A (zh) 2020-06-23 2020-06-23 一种分布式文件系统热度统计方法、装置

Country Status (1)

Country Link
CN (1) CN111858481A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608685A (zh) * 2021-06-30 2021-11-05 济南浪潮数据技术有限公司 一种分布式存储块设备的热点识别方法及系统
CN117348820A (zh) * 2023-12-04 2024-01-05 浪潮云信息技术股份公司 一种分布式系统的数据处理方法、系统、设备及存储介质
CN117807045A (zh) * 2024-03-01 2024-04-02 星云海数字科技股份有限公司 一种多级文件系统及其构建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608685A (zh) * 2021-06-30 2021-11-05 济南浪潮数据技术有限公司 一种分布式存储块设备的热点识别方法及系统
CN117348820A (zh) * 2023-12-04 2024-01-05 浪潮云信息技术股份公司 一种分布式系统的数据处理方法、系统、设备及存储介质
CN117807045A (zh) * 2024-03-01 2024-04-02 星云海数字科技股份有限公司 一种多级文件系统及其构建方法
CN117807045B (zh) * 2024-03-01 2024-05-28 星云海数字科技股份有限公司 一种多级文件系统及其构建方法

Similar Documents

Publication Publication Date Title
CN111858481A (zh) 一种分布式文件系统热度统计方法、装置
US11036799B2 (en) Low RAM space, high-throughput persistent key value store using secondary memory
US10430338B2 (en) Selectively reading data from cache and primary storage based on whether cache is overloaded
CN106844740B (zh) 基于内存对象缓存系统的数据预读方法
CN108319654B (zh) 计算系统、冷热数据分离方法及装置、计算机可读存储介质
CN108710639B (zh) 一种基于Ceph的海量小文件存取优化方法
WO2016165509A1 (en) Big data statistics at data-block level
US8566531B2 (en) System and method of selectively caching information based on the interarrival time of requests for the same information
CN104794228B (zh) 一种搜索结果提供方法及装置
Yang et al. Segcache: a memory-efficient and scalable in-memory key-value cache for small objects
CN107301215B (zh) 一种搜索结果缓存方法及装置、搜索方法及装置
CN108108089B (zh) 一种图片加载方法及装置
CN111858403B (zh) 基于概率对访问频率计数的缓存数据热度管理方法及系统
US20200327050A1 (en) Fast and safe storage space reclamation for a data storage system
CN113094392A (zh) 数据缓存的方法和装置
Mo et al. Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads
CN112711564B (zh) 合并处理方法以及相关设备
CN111859038A (zh) 一种分布式存储系统数据热度统计方法、装置
CN107577618B (zh) 一种三路均衡缓存淘汰方法及装置
CN114116634B (zh) 一种缓存方法、装置及可读存储介质
US6742019B1 (en) Sieved caching for increasing data rate capacity of a heterogeneous striping group
US11681680B2 (en) Method, device and computer program product for managing index tables
CN113821479A (zh) 一种基于元数据加载的数据请求处理方法和装置
CN107506156B (zh) 一种块设备的io优化方法
US10339069B2 (en) Caching large objects in a computer system with mixed data warehousing and online transaction processing workload

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030

WW01 Invention patent application withdrawn after publication