CN109376125A - 一种元数据存储方法、装置、设备及计算机可读存储介质 - Google Patents

一种元数据存储方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109376125A
CN109376125A CN201811121045.9A CN201811121045A CN109376125A CN 109376125 A CN109376125 A CN 109376125A CN 201811121045 A CN201811121045 A CN 201811121045A CN 109376125 A CN109376125 A CN 109376125A
Authority
CN
China
Prior art keywords
metadata object
metadata
cache
aging
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811121045.9A
Other languages
English (en)
Inventor
刘洪栋
李庆龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811121045.9A priority Critical patent/CN109376125A/zh
Publication of CN109376125A publication Critical patent/CN109376125A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种元数据存储方法，包括：判断当前缓存的文件量是否超过预定阈值；若是，则确定一级缓存中的未被业务占用的元数据对象；从所述未被业务占用的元数据对象中确定老化元数据对象，并对所述老化元数据对象执行精简操作后存储至二级缓存；删除所述一级缓存中的所述老化元数据对象。可见，在本实施例中，如果一级缓存中的元数据未被业务占用且被老化后，需要将元数据执行精简操作后转移至二级缓存，通过这种方式，可以减小了内存中缓存的元数据信息的内存占用量；本发明还公开了一种元数据存储装置、设备及计算机可读存储介质，同样能实现上述技术效果。

Description

一种元数据存储方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及元数据存储技术领域，更具体地说，涉及一种元数据存储方法、装置、设备及计算机可读存储介质。
背景技术
在目前的文件系统中，为了提高系统性能，其重要的手段是在内存中缓存文件的元数据信息。但是，若目前总体缓存量在100万到400万的文件量，正常情况下，一个缓存文件的元数据信息量在几千字节左右，那么所有文件的元数据信息的内存占用量就达到了几个G的规模，无疑这种大规模的内存占用限制了缓存数据量的进一步发展，另一个方面会增加成本。
因此，如何减少元数据信息的内存占用量，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种元数据存储方法、装置、设备及计算机可读存储介质，以实现减少元数据信息的内存占用量。
为实现上述目的，本发明实施例提供了如下技术方案：
一种元数据存储方法，包括：
判断当前缓存的文件量是否超过预定阈值；
若是，则确定一级缓存中的未被业务占用的元数据对象；
从所述未被业务占用的元数据对象中确定老化元数据对象，并对所述老化元数据对象执行精简操作后存储至二级缓存；
删除所述一级缓存中的所述老化元数据对象。
其中，所述从所述未被业务占用的元数据对象中确定老化元数据对象，包括：
利用LRU算法从所述未被业务占用的元数据对象中确定老化元数据对象。
其中，所述对所述老化元数据对象执行精简操作后存储至二级缓存，包括：
对所述老化元数据对象的结构体进行精简后，存储至二级缓存。
其中，本方案还包括：
接收对目标元数据对象的查询指令；
从所述一级缓存中查询目标元数据对象；
若未查询到，则从所述二级缓存中查询目标元数据对象；
若从所述二级缓存中查询到目标元数据对象，则将查询到的目标元数据对象映射为全量元数据对象，将所述全量元数据对象添加至所述一级缓存，并删除所述二级缓存中的目标元数据对象；
若未从所述二级缓存中查询到目标元数据对象，则从磁盘中加载目标元数据对象，并将加载的目标元数据对象映射为全量元数据对象，并添加至所述一级缓存。
一种元数据存储装置，包括：
判断模块，用于判断当前缓存的文件量是否超过预定阈值；
第一确定模块，用于当前缓存的文件量超过预定阈值时，确定一级缓存中的未被业务占用的元数据对象；
第二确定模块，用于从所述未被业务占用的元数据对象中确定老化元数据对象；
精简操作执行模块，用于对所述老化元数据对象执行精简操作，并存储至二级缓存；
第一删除模块，用于删除所述一级缓存中的所述老化元数据对象。
其中，所述第二确定模块，具体用于利用LRU算法从所述未被业务占用的元数据对象中确定老化元数据对象。
其中，所述精简操作执行模块，具体用于对所述老化元数据对象的结构体进行精简后，存储至二级缓存。
其中，本方案还包括：
查询指令接收模块，用于接收对目标元数据对象的查询指令；
第一查询模块，用于从所述一级缓存中查询目标元数据对象；
第二查询模块，用于未从所述一级缓存中查询到目标元数据对象后，从所述二级缓存中查询目标元数据对象；
第一映射模块，用于从所述二级缓存中查询到目标元数据对象后，将查询到的目标元数据对象映射为全量元数据对象；
第一添加模块，用于将所述全量元数据对象添加至所述一级缓存；
第二删除模块，用于删除所述二级缓存中的目标元数据对象；
元数据加载模块，用于未从所述二级缓存中查询到目标元数据对象时，从磁盘中加载目标元数据对象；
第二映射模块，用于将加载的目标元数据对象映射为全量元数据对象；
第二添加模块，用于在加载的目标元数据对象映射为全量元数据对象后，添加至所述一级缓存。
一种元数据存储设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述元数据存储方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述元数据存储方法的步骤。
通过以上方案可知，本发明实施例提供的一种元数据存储方法，包括：判断当前缓存的文件量是否超过预定阈值；若是，则确定一级缓存中的未被业务占用的元数据对象；从所述未被业务占用的元数据对象中确定老化元数据对象，并对所述老化元数据对象执行精简操作后存储至二级缓存；删除所述一级缓存中的所述老化元数据对象。
可见，在本实施例中，如果一级缓存中的元数据未被业务占用且被老化后，需要将元数据执行精简操作后转移至二级缓存，通过这种方式，可以减小了内存中缓存的元数据信息的内存占用量；本发明还公开了一种元数据存储装置、设备及计算机可读存储介质，同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种元数据存储方法流程示意图；
图2为本发明实施例公开的全量元数据精简过程示意图；
图3为本发明实施例公开的精简前后的结构体示意图；
图4为本发明实施例公开的元数据查询示意图；
图5为本发明实施例公开的一种元数据存储装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种元数据存储方法、装置、设备及计算机可读存储介质，以实现减少元数据信息的内存占用量。
参见图1，本发明实施例提供的一种元数据存储方法，包括：
S101、判断当前缓存的文件量是否超过预定阈值；
若是，则执行S102；若否，则继续执行S101；
具体的，目前利用元数据缓存机制中，在mdcache trim(元数据缓存删除)流程中实现缓存的替换；在现有的缓存老化机制中，通过设置数量较多(几十万到上百万的数量)的缓存量来实现缓存，当达到一定的缓存量后，开始进行老化缓存的trim。而在本方案中的预设阈值要比现有技术中的缓存量小得多，也就是说，本方案设置较小的缓存量预设阈值，例如：该预设阈值为1000个文件(原来设置缓存100w或几十万个文件)，这样的情况下，如果当前缓存的文件量超过1000个，则对缓存对象快速的tirm，通过这种可以避开原有方案中cap的问题，然后对trim掉的对象进行精简然后缓存。
S102、确定一级缓存中的未被业务占用的元数据对象；
具体的，在本实施例中，将内存中的缓存分为两级，即一级缓存和二级缓存，在一级缓存中，通过建立全量队列保存全量元数据对象，该队列中的元数据对象必需是有cap的(即有客户端访问)，全量元数据对象包括元数据的全部结构及数据，即全量队列用来保存元数据对象的全部的运行的数据结构和数据；在二级缓存中，建立精简队列，用来保存精简的元数据对象，该元数据对象没有cap(没有业务存在)，该元数据对象保存的数据类型类似于落盘的数据，精简元数据对象相比于全量元数据对象来说，数据结构被精简，所以精简元数据对象占用的内存量小于全量元数据对象。
当然，除了上述一级缓存中的全量队列和二级缓存中的精简队列之外，磁盘中也存储了元数据对象，磁盘中存储的元数据对象即为落盘数据，落盘的数据是将内存中的元数据对象同步到磁盘的，即：磁盘中保存了所有的元数据对象，而内存中仅存储了访问频率较高的元数据对象。
具体来说，在S101中确定当前缓存的文件量超过预定阈值后，需要确定一级缓存中未被业务占用的元数据对象，该未被业务占用的元数据对象，为当前没有客户端访问的元数据对象，通过将未被业务占用的元数据对象选出来，以供后续步骤从中选择需要转移到二级缓存的元数据对象，从而节省内存空间占用量。
S103、从所述未被业务占用的元数据对象中确定老化元数据对象；
其中，所述从所述未被业务占用的元数据对象中确定老化元数据对象，包括：利用LRU算法从所述未被业务占用的元数据对象中确定老化元数据对象。
具体的，确定未被业务占用的元数据对象后，需要从中确定老化的元数据对象，该老化的元数据对象为用户长时间没有访问的元数据对象，代表用户以后访问该元数据对象的机率较小，如果继续保留在一级缓存内，则占用了缓存内存；因此在本方案中，需要从未被业务占用的元数据对象中确定老化元数据对象，并通过S104进行精简存储至二级缓存，从而减少内存占用量。
需要说明的是，在本实施例提供了一种确定老化元数据对象的方法，即通过LRU(Least recently used,最近最少使用)算法确定老化元数据对象，该算法根据数据的历史访问记录来进行淘汰数据，访问频率高的元数据对象在队列的头部，而访问频率低的元数据对象则在队列的尾部，在根据LRU算法从中确定的老化元数据对象，即为在队列尾部的访问频率低的元数据对象。
S104、对所述老化元数据对象执行精简操作后存储至二级缓存；
S105、删除所述一级缓存中的所述老化元数据对象。
其中，所述对所述老化元数据对象执行精简操作后存储至二级缓存，包括：对所述老化元数据对象的结构体进行精简后，存储至二级缓存。
具体的，在本实施例中，为了减少元数据的内存占用量，可以将元数据对象精简后存储至二级缓存，并将一级缓存中对应的元数据对象删除，精简后的元数据对象要比精简前的全量元数据对象小，因此将访问频率低的元数据对象精简后存入二级缓存，即可以减少元数据的内存占用量，又可以在客户端访问时，从内存的二级缓存中快速的响应。
需要说明的是，本方案中对老化元数据对象执行精简操作，即是对老化元数据对象的结构体进行精简，参见图2，为本实施例提供的全量元数据精简过程示意图，通过图2可以看出，在S1，从lru队列中获取目录项Cdentry；S2，建立二级缓存的对象的索引节点存储库InodeStoreBase、目录项存储库DentryStoreBase、目录存储库DirStoreBase；S3，Cdentry是否可以trim，也就是根据LRU算法判断目录项对应的元数据对象是否能删除，以便进行精简；S4，如果不可以，则释放建立的二级缓存对象；S5，如果可以，则Trim inode，即将该目录项对应的索引节点删除；S6，但是在delete inode(删除该索引节点)前，需要复制inodebase(基本索引节点信息)到二级缓存对象；S7，Trim cdentry、trim cdir，进一步还需要删除目录项和目录；S8，在delete对象前，将相关内容添加到二级缓存对象中，也就是将一级缓存的元数据对象转存至二级缓存。参见图3，为本实施例提供的精简前后的结构体示意图。
综上可以看出，本方案根据当前缓存数据业务状态设立了多级缓存的方法，把原有在内存中缓存的文件的元数据，当目前没有业务占用的前提下，并且被老化后，对其结构体进行精简后放到二级缓存中；当需要的时候，再从二级缓存中转换到一级缓存中，从而解决了缓存的文件量过多时，其元数据内存占用量太大的问题，能够有效的减小内存的占用量。
基于上述实施例，在本实施例中，还包括：
接收对目标元数据对象的查询指令；
从所述一级缓存中查询目标元数据对象；
若未查询到，则从所述二级缓存中查询目标元数据对象；
若从所述二级缓存中查询到目标元数据对象，则将查询到的目标元数据对象映射为全量元数据对象，将所述全量元数据对象添加至所述一级缓存，并删除所述二级缓存中的目标元数据对象；
若未从所述二级缓存中查询到目标元数据对象，则从磁盘中加载目标元数据对象，并将加载的目标元数据对象映射为全量元数据对象，并添加至所述一级缓存。
具体的，参见图4，为本实施例提供的元数据查询示意图；需要说明的是，在本实施例中，在查询缓存元数据的接口中(mdcache中的get_inode函数)，增加一个缓存查询队列，通过该图可以看出，在查询本地的缓存元数据时，首先在一级缓存的缓存队列中查找，当在该队列中查找不到的情况下，从二级缓存的缓存队列中查找，如果在二级缓存的队列中查找了，由于二级缓存中存储的是精简后的元数据对象，因此需要将精简的元数据对象映射到全量的元数据对象，并从二级缓存中移除对应对象，添加至一级缓存中；如果在二级缓存的队列中没有找到，则从get_inode函数中返回查找为NULL，其他的流程按照原有的方式在集群中查找，或者从磁盘加载，需要说明的是，从磁盘加载后需要放到原有的一级缓存中。
可见，本方案根据当前缓存元数据的业务状态及老化情况来判断是否需要对其进行结构精简，进而，本方案通过减小一级缓存的缓存量，加快了一级缓存到二级缓存的转换，从而减小元数据缓存所占的内存量的基础上，可实现一级缓存和二级缓存之间元数据的快速转换。
下面对本发明实施例提供的元数据存储装置进行介绍，下文描述的元数据存储装置与上文描述的元数据存储方法可以相互参照。
参见图5，本发明实施例提供的一种元数据存储装置，包括：
判断模块100，用于判断当前缓存的文件量是否超过预定阈值；
第一确定模块200，用于当前缓存的文件量超过预定阈值时，确定一级缓存中的未被业务占用的元数据对象；
第二确定模块300，用于从所述未被业务占用的元数据对象中确定老化元数据对象；
精简操作执行模块400，用于对所述老化元数据对象执行精简操作，并存储至二级缓存；
第一删除模块500，用于删除所述一级缓存中的所述老化元数据对象。
其中，所述第二确定模块，具体用于利用LRU算法从所述未被业务占用的元数据对象中确定老化元数据对象。
其中，所述精简操作执行模块，具体用于对所述老化元数据对象的结构体进行精简后，存储至二级缓存。
其中，本方案还包括：
查询指令接收模块，用于接收对目标元数据对象的查询指令；
第一查询模块，用于从所述一级缓存中查询目标元数据对象；
第二查询模块，用于未从所述一级缓存中查询到目标元数据对象后，从所述二级缓存中查询目标元数据对象；
第一映射模块，用于从所述二级缓存中查询到目标元数据对象后，将查询到的目标元数据对象映射为全量元数据对象；
第一添加模块，用于将所述全量元数据对象添加至所述一级缓存；
第二删除模块，用于删除所述二级缓存中的目标元数据对象；
元数据加载模块，用于未从所述二级缓存中查询到目标元数据对象时，从磁盘中加载目标元数据对象；
第二映射模块，用于将加载的目标元数据对象映射为全量元数据对象；
第二添加模块，用于在加载的目标元数据对象映射为全量元数据对象后，添加至所述一级缓存。
本发明实施例还公开了一种元数据存储设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述元数据存储方法实施例所述的步骤。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述元数据存储方法实施例所述的步骤。
其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种元数据存储方法，其特征在于，包括：
判断当前缓存的文件量是否超过预定阈值；
若是，则确定一级缓存中的未被业务占用的元数据对象；
从所述未被业务占用的元数据对象中确定老化元数据对象，并对所述老化元数据对象执行精简操作后存储至二级缓存；
删除所述一级缓存中的所述老化元数据对象。
2.根据权利要求1所述的元数据存储方法，其特征在于，所述从所述未被业务占用的元数据对象中确定老化元数据对象，包括：
利用LRU算法从所述未被业务占用的元数据对象中确定老化元数据对象。
3.根据权利要求2所述的元数据存储方法，其特征在于，所述对所述老化元数据对象执行精简操作后存储至二级缓存，包括：
对所述老化元数据对象的结构体进行精简后，存储至二级缓存。
4.根据权利要求1至3中任意一项所述的元数据存储方法，其特征在于，还包括：
接收对目标元数据对象的查询指令；
从所述一级缓存中查询目标元数据对象；
若未查询到，则从所述二级缓存中查询目标元数据对象；
若从所述二级缓存中查询到目标元数据对象，则将查询到的目标元数据对象映射为全量元数据对象，将所述全量元数据对象添加至所述一级缓存，并删除所述二级缓存中的目标元数据对象；
若未从所述二级缓存中查询到目标元数据对象，则从磁盘中加载目标元数据对象，并将加载的目标元数据对象映射为全量元数据对象，并添加至所述一级缓存。
5.一种元数据存储装置，其特征在于，包括：
判断模块，用于判断当前缓存的文件量是否超过预定阈值；
第一确定模块，用于当前缓存的文件量超过预定阈值时，确定一级缓存中的未被业务占用的元数据对象；
第二确定模块，用于从所述未被业务占用的元数据对象中确定老化元数据对象；
精简操作执行模块，用于对所述老化元数据对象执行精简操作，并存储至二级缓存；
第一删除模块，用于删除所述一级缓存中的所述老化元数据对象。
6.根据权利要求5所述的元数据存储装置，其特征在于，
所述第二确定模块，具体用于利用LRU算法从所述未被业务占用的元数据对象中确定老化元数据对象。
7.根据权利要求6所述的元数据存储装置，其特征在于，
所述精简操作执行模块，具体用于对所述老化元数据对象的结构体进行精简后，存储至二级缓存。
8.根据权利要求5至7中任意一项所述的元数据存储装置，其特征在于，还包括：
查询指令接收模块，用于接收对目标元数据对象的查询指令；
第一查询模块，用于从所述一级缓存中查询目标元数据对象；
第二查询模块，用于未从所述一级缓存中查询到目标元数据对象后，从所述二级缓存中查询目标元数据对象；
第一映射模块，用于从所述二级缓存中查询到目标元数据对象后，将查询到的目标元数据对象映射为全量元数据对象；
第一添加模块，用于将所述全量元数据对象添加至所述一级缓存；
第二删除模块，用于删除所述二级缓存中的目标元数据对象；
元数据加载模块，用于未从所述二级缓存中查询到目标元数据对象时，从磁盘中加载目标元数据对象；
第二映射模块，用于将加载的目标元数据对象映射为全量元数据对象；
第二添加模块，用于在加载的目标元数据对象映射为全量元数据对象后，添加至所述一级缓存。
9.一种元数据存储设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述元数据存储方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述元数据存储方法的步骤。
CN201811121045.9A 2018-09-25 2018-09-25 一种元数据存储方法、装置、设备及计算机可读存储介质 Pending CN109376125A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811121045.9A CN109376125A (zh) 2018-09-25 2018-09-25 一种元数据存储方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811121045.9A CN109376125A (zh) 2018-09-25 2018-09-25 一种元数据存储方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109376125A true CN109376125A (zh) 2019-02-22

Family

ID=65401876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811121045.9A Pending CN109376125A (zh) 2018-09-25 2018-09-25 一种元数据存储方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109376125A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008143A (zh) * 2019-04-11 2019-07-12 苏州浪潮智能科技有限公司 一种缓存优化方法、装置、设备及计算机可读存储介质
CN111078593A (zh) * 2019-12-29 2020-04-28 浪潮电子信息产业股份有限公司 一种对象元数据的访问方法、系统及相关装置
CN111143290A (zh) * 2019-12-27 2020-05-12 浪潮电子信息产业股份有限公司 一种内存管理方法、系统、设备及计算机可读存储介质
CN111694813A (zh) * 2020-05-08 2020-09-22 北京明略软件系统有限公司 一种数据源管理方法和装置
CN111897847A (zh) * 2020-08-07 2020-11-06 上海莉莉丝科技股份有限公司 基于多级缓存的数据读取和写入方法、系统、设备和介质
CN112559560A (zh) * 2019-09-10 2021-03-26 北京京东振世信息技术有限公司 元数据读取方法及装置、更新方法及装置、存储装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852318A (zh) * 2006-04-19 2006-10-25 华中科技大学 适用于对象网络存储的分布式多级缓存系统
CN104657378A (zh) * 2013-11-20 2015-05-27 青岛海信移动通信技术股份有限公司 一种文件缓存方法及装置
CN104699626A (zh) * 2013-12-10 2015-06-10 中兴通讯股份有限公司 终端内存处理方法、装置及终端
US20150193353A1 (en) * 2014-01-05 2015-07-09 Quantum Corporation Compressed Level Two Block Buffer Metadata Cache

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852318A (zh) * 2006-04-19 2006-10-25 华中科技大学 适用于对象网络存储的分布式多级缓存系统
CN104657378A (zh) * 2013-11-20 2015-05-27 青岛海信移动通信技术股份有限公司 一种文件缓存方法及装置
CN104699626A (zh) * 2013-12-10 2015-06-10 中兴通讯股份有限公司 终端内存处理方法、装置及终端
US20150193353A1 (en) * 2014-01-05 2015-07-09 Quantum Corporation Compressed Level Two Block Buffer Metadata Cache

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李红艳: "《固体盘I/O优化技术研究》", 31 March 2017, 华中科技大学出版社 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008143A (zh) * 2019-04-11 2019-07-12 苏州浪潮智能科技有限公司 一种缓存优化方法、装置、设备及计算机可读存储介质
CN112559560A (zh) * 2019-09-10 2021-03-26 北京京东振世信息技术有限公司 元数据读取方法及装置、更新方法及装置、存储装置
CN111143290A (zh) * 2019-12-27 2020-05-12 浪潮电子信息产业股份有限公司 一种内存管理方法、系统、设备及计算机可读存储介质
CN111078593A (zh) * 2019-12-29 2020-04-28 浪潮电子信息产业股份有限公司 一种对象元数据的访问方法、系统及相关装置
CN111078593B (zh) * 2019-12-29 2022-08-19 浪潮电子信息产业股份有限公司 一种对象元数据的访问方法、系统及相关装置
CN111694813A (zh) * 2020-05-08 2020-09-22 北京明略软件系统有限公司 一种数据源管理方法和装置
CN111897847A (zh) * 2020-08-07 2020-11-06 上海莉莉丝科技股份有限公司 基于多级缓存的数据读取和写入方法、系统、设备和介质

Similar Documents

Publication Publication Date Title
CN109376125A (zh) 一种元数据存储方法、装置、设备及计算机可读存储介质
CN104899156B (zh) 一种面向大规模社交网络的图数据存储及查询方法
CN104778270A (zh) 一种用于多文件的存储方法
CN109766318B (zh) 文件读取方法及装置
CN106844676B (zh) 数据存储方法及装置
CN109144413A (zh) 一种元数据管理方法及装置
CN109542907A (zh) 数据库缓存构建方法、装置、计算机设备以及存储介质
CN103501319A (zh) 一种低延迟的面向小文件的分布式存储系统
CN109101580A (zh) 一种基于Redis的热点数据缓存方法和装置
CN106155934A (zh) 一种云环境下基于重复数据的缓存方法
CN108319634B (zh) 分布式文件系统的目录访问方法和装置
CN107888687B (zh) 一种基于分布式存储系统的代理客户端存储加速方法及系统
CN113885780A (zh) 数据同步方法、装置、电子设备、系统和存储介质
CN112148736A (zh) 缓存数据的方法、设备及存储介质
CN111831691B (zh) 一种数据读写方法及装置、电子设备、存储介质
CN110245129A (zh) 一种分布式全局数据去重方法和装置
CN107133334B (zh) 基于高带宽存储系统的数据同步方法
CN107748649B (zh) 一种缓存数据的方法和装置
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及系统
CN109947718A (zh) 一种数据存储方法、存储平台及存储装置
US8028011B1 (en) Global UNIX file system cylinder group cache
CN115964002A (zh) 一种电能表终端档案管理方法、装置、设备及介质
CN113885801A (zh) 一种内存数据的处理方法及装置
CN103491124A (zh) 一种对彩信数据进行处理的方法及分布式缓存系统
CN112579650A (zh) 基于Redis缓存的数据处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190222

RJ01 Rejection of invention patent application after publication