CN109086462A - 一种分布式文件系统中元数据的管理方法 - Google Patents
一种分布式文件系统中元数据的管理方法 Download PDFInfo
- Publication number
- CN109086462A CN109086462A CN201811108566.0A CN201811108566A CN109086462A CN 109086462 A CN109086462 A CN 109086462A CN 201811108566 A CN201811108566 A CN 201811108566A CN 109086462 A CN109086462 A CN 109086462A
- Authority
- CN
- China
- Prior art keywords
- directory entry
- metadata
- cluster
- dirty
- dirty directory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 38
- 239000012634 fragment Substances 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 7
- 241000239290 Araneae Species 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式文件系统中元数据的管理方法，能够响应于将元数据集群写回数据集群的指令，确定所述元数据集群中的脏目录项，然后遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项，若是，则将所述目录分片写回所述数据集群。可见，该方法只需要轮询目录分片中的脏目录项，避免了轮询全部的目录项，减少了元数据集群的访问量，降低了访问延时，从而提升了元数据集群的访问性能。此外，本发明还提供了一种分布式文件系统中元数据的管理装置、设备、及计算机可读存储介质，其作用与上述方法相对应。
Description
技术领域
本发明涉及计算机领域，特别涉及一种分布式文件系统中元数据的管理方法、装置、设备及计算机可读存储介质。
背景技术
分布式文件系统中的元数据集群作为文件系统的第二层缓存，分布式的管理整个文件系统的命名空间。
元数据集群只使用内存不使用磁盘存储元数据数据，如果把整个分布式文件系统环境看成一台单机，那么元数据集群相当于内存，数据集群相当于磁盘。
内存总是比较稀缺的资源。在将元数据集群写回数据集群时，由于只能以目录分片为单位写回，而脏目录项需要在变更为干净目录项时才能写回，因此，传统的元数据管理方法需要轮询目录分片中各个目录项，直到所有目录项都为干净目录项。但是，这种方式对元数据的访问量较大，使得访问延时较高。
发明内容
本发明的目的是提供一种分布式文件系统中元数据的管理方法、装置、设备及计算机可读存储介质，用以解决传统的元数据管理方法在将元数据集群写回数据集群时，对元数据的访问量较大，访问延时较高的问题。
为解决上述技术问题，本发明提供了一种分布式文件系统中元数据的管理方法，包括：
响应于将元数据集群写回数据集群的指令，确定所述元数据集群中的脏目录项；
遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项；
若是，则将所述目录分片写回所述数据集群。
其中，所述元数据集群为属主元数据集群；
在所述预先确定元数据集群中的脏目录项之前，包括：
在属主元数据集群的访问频率大于预设阈值时，创建所述元数据集群的副本元数据集群。
其中，在所述在属主元数据集群的访问频率大于预设阈值时，创建所述元数据集群的副本元数据集群之后，包括：
判断副本元数据集群的访问频率是否高于所述属主元数据集群的访问频率；
若不高于，则删除所述副本元数据集群。
其中，所述遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项包括：
将所述脏目录项添加到脏目录项队列中；
遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项。
其中，所述将所述脏目录项添加到脏目录项队列中包括：
将所述脏目录项添加到LRU链表中，并将所述LRU链表标记为脏目录项队列。
其中，在所述将所述目录分片写回所述数据集群之后，包括：
将所述脏目录项从所述LRU链表中移除。
本发明还提供了一种分布式文件系统中元数据的管理装置，包括：
脏目录项确定模块：用于响应于将元数据集群写回数据集群的指令，确定所述元数据集群中的脏目录项；
脏目录项遍历模块：用于遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项；
目录分片写回模块：用于当脏目录项所在的目录分片中的脏目录项均变更为干净目录项时，将所述目录分片写回所述数据集群。
其中，所述元数据集群为属主元数据集群，所述装置还包括：
副本元数据集群创建模块：用于在属主元数据集群的访问频率大于预设阈值时，创建所述元数据集群的副本元数据集群。
此外，本发明还提供了一种分布式文件系统中元数据的管理设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序以实现如上所述的一种分布式文件系统中元数据的管理方法的步骤。
最后，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权上所述的一种分布式文件系统中元数据的管理方法的步骤。
本发明所提供的一种分布式文件系统中元数据的管理方法，能够响应于将元数据集群写回数据集群的指令，确定所述元数据集群中的脏目录项，然后遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项，若是，则将所述目录分片写回所述数据集群。可见，该方法只需要轮询目录分片中的脏目录项，避免了轮询全部的目录项，减少了元数据集群的访问量，降低了访问延时，从而提升了元数据集群的访问性能。
此外，本发明还提供了一种分布式文件系统中元数据的管理装置、设备、及计算机可读存储介质，其作用与上述方法相对应，这里不再赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种分布式文件系统中元数据的管理方法实施例一的实现流程图；
图2为本发明所提供的一种分布式文件系统中元数据的管理方法实施例二的实现流程图；
图3为本发明所提供的一种分布式文件系统中元数据的管理装置的结构框图。
具体实施方式
本发明的核心是提供一种分布式文件系统中元数据的管理方法、装置、设备、及计算机可读存储介质，减少了元数据集群的访问量，降低了访问延时，从而提升了元数据集群的访问性能。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面对本发明提供的一种分布式文件系统中元数据的管理方法实施例一进行介绍，参见图1，实施例一包括：
步骤S101：响应于将元数据集群写回数据集群的指令，确定所述元数据集群中的脏目录项。
步骤S102：遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项。
步骤S103：若是，则将所述目录分片写回所述数据集群。
本实施例所提供一种分布式文件系统中元数据的管理方法，能够响应于将元数据集群写回数据集群的指令，确定所述元数据集群中的脏目录项，然后遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项，若是，则将所述目录分片写回所述数据集群。可见，该方法只需要轮询目录分片中的脏目录项，避免了轮询全部的目录项，减少了元数据集群的访问量，降低了访问延时，从而提升了元数据集群的访问性能。
下面开始详细介绍本发明提供的一种分布式文件系统中元数据的管理方法实施例二，参见图2，实施例二具体包括：
步骤S201：在属主元数据集群的访问频率大于预设阈值时，创建所述元数据集群的副本元数据集群。
在分布式文件系统中，目录树被动态分割成几个子树由对应的元数据集群进行管理，目录子树被分配到的元数据集群被称为主元数据集群。
本实施例考虑到主元数据集群的访问量可能很大，导致某些元数据服务器访问负载比较中，为了解决元数据服务器访问负载不均衡的情况，在相对于属主元数据集群的其他元数据服务器上生成副本元数据信息，通过这些副本元数据信息来执行一些读操作，但是对于写和修改元数据的操作只能在属主元数据集群上执行，减轻属主元数据集群的负载。具体的，本实施例根据子树的划分和所处元数据服务器的位置，将元数据划分为属主元数据和副本元数据两类。
步骤S202：判断副本元数据集群的访问频率是否高于所述属主元数据集群的访问频率。
步骤S203：若不高于，删除所述副本元数据集群。
在同一台元数据服务器上，由属主元数据和副本元数据的操作特性可知，在副本元数据和属主元数据访问频率相同的情况下，可以有限删除副本元数据，所以属主元数据整体相比与副本元数据较热。
值得提及的是，在一台元数据集群由于宕机等原因进行重启时为了减少重构目录树的时间，可以清空副本元数据，这里指的是不同对象的属主元数据和副本元数据，继而在元数据缓存管理时通过判断划分为属主元数据和副本元数据进行分组管理。
步骤S204：响应于将属主元数据集群写回数据集群的指令，确定所述属主元数据集群中的脏目录项。
如上所述，元数据集群相当于缓存，数据集群相当于硬盘，在一定条件下，需要将元数据集群写入数据集群中。
更具体的来说，是分别确定属主元数据集群中的脏目录项和干净目录项。目录项是用来描述文件或文件夹的属性、大小、创建时间、修改时间等信息。干净(clean)数据，指的是缓存里还没被修改的数据,也就是缓存里和数据文件保持一致的数据；相应的，脏数据(dirty)数据，指的是缓存中被修改的、和数据文件不一致的数据。
由于副本目录项主要是用于应对读这类不会改变元数据的操作，所以本实施例只对属主目录项进行脏元数据的管理。
步骤S205：将所述脏目录项添加到LRU链表中，并将所述LRU链表标记为脏目录项队列。
由于元数据集群缓存中只淘汰干净的目录项，所以脏的目录项要单独管理，以减少查找干净目录项的时间。介于脏元数据不需要进行淘汰，对命中率要求不是很高，所以可以使用简单的LRU链表进行管理。
相应的，可以为干净目录项也设置干净目录项LUR链表。当干净目录项被修改，干净目录项变更为脏目录项，此时需要将其从干净LRU链表中剔除，加入到脏LRU链表的尾部。
步骤S206：轮询所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项，直至所有所述脏目录项均变更为干净目录项。
我们知道，在元数据集群中，元数据的更新写回数据集群时以目录分片为单位，也就是说，把这个目录分片下的目录项作为操作内同写回到数据集群中，不能以单独的目录项写回到数据集群。基于这个原理在淘汰缓存中的元数据时不能淘汰脏的目录项，必须等脏目录项所在的父目录分片整体更新到数据集群后变为干净才能进行淘汰，也就是说只能淘汰干净的目录项。
步骤S206：将所述目录分片写回所述数据集群。
步骤S207：将所述脏目录项从所述LRU链表中移除。
综上所述，本实施例所提供一种分布式文件系统中元数据的管理方法，能够响应于将元数据集群写回数据集群的指令，确定所述元数据集群中的脏目录项，将脏目录项增加到LRU链表，然后遍历所述脏目录项，轮询判断所述脏目录项所在的目录分片中的脏目录项，直至所述脏目录项均变更为干净目录项，则将所述目录分片写回所述数据集群。可见，该方法只需要轮询目录分片中的脏目录项，避免了轮询全部的目录项，减少了元数据集群的访问量，降低了访问延时，从而提升了元数据集群的访问性能。
下面对本发明实施例提供的一种分布式文件系统中元数据的管理装置实施例进行介绍，下文描述的一种分布式文件系统中元数据的管理装置与上文描述的一种分布式文件系统中元数据的管理方法可相互对应参照。
参见图3，该装置实施例包括：
脏目录项确定模块301：用于响应于将元数据集群写回数据集群的指令，确定所述元数据集群中的脏目录项。
脏目录项遍历模块302：用于遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项。
目录分片写回模块303：用于当脏目录项所在的目录分片中的脏目录项均变更为干净目录项时，将所述目录分片写回所述数据集群。
其中，所述元数据集群为属主元数据集群，所述装置还包括：
副本元数据集群创建模块304：用于在属主元数据集群的访问频率大于预设阈值时，创建所述元数据集群的副本元数据集群。
本实施例的一种分布式文件系统中元数据的管理装置用于实现前述的一种分布式文件系统中元数据的管理方法，因此该装置中的具体实施方式可见前文中的一种分布式文件系统中元数据的管理方法的实施例部分，例如，脏目录项确定模块301、脏目录项遍历模块302、目录分片写回模块303，分别用于实现上述一种分布式文件系统中元数据的管理方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的一种分布式文件系统中元数据的管理装置用于实现前述的一种分布式文件系统中元数据的管理方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本发明还提供了一种分布式文件系统中元数据的管理设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序以实现如上所述的一种分布式文件系统中元数据的管理方法的步骤。
最后，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种分布式文件系统中元数据的管理方法的步骤。
本实施例的一种分布式文件系统中元数据的管理设备、计算机可读存储介质用于实现前述的一种分布式文件系统中元数据的管理方法，因此该装置中的具体实施方式可见前文中的一种分布式文件系统中元数据的管理方法的实施例部分，其作用也与上述方法实施例相对应，这里不再展开介绍。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种分布式文件系统中元数据的管理方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种分布式文件系统中元数据的管理方法，其特征在于，包括：
响应于将元数据集群写回数据集群的指令，确定所述元数据集群中的脏目录项；
遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项；
若是，则将所述目录分片写回所述数据集群。
2.如权利要求1所述的方法，其特征在于，所述元数据集群为属主元数据集群；
在所述预先确定元数据集群中的脏目录项之前，包括：
在属主元数据集群的访问频率大于预设阈值时，创建所述元数据集群的副本元数据集群。
3.如权利要求2所述的方法，其特征在于，在所述在属主元数据集群的访问频率大于预设阈值时，创建所述元数据集群的副本元数据集群之后，包括：
判断副本元数据集群的访问频率是否高于所述属主元数据集群的访问频率；
若不高于，则删除所述副本元数据集群。
4.如权利要求1所述的方法，其特征在于，所述遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项包括：
将所述脏目录项添加到脏目录项队列中；
遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项。
5.如权利要求4所述的方法，其特征在于，所述将所述脏目录项添加到脏目录项队列中包括：
将所述脏目录项添加到LRU链表中，并将所述LRU链表标记为脏目录项队列。
6.如权利要求5所述的方法，其特征在于，在所述将所述目录分片写回所述数据集群之后，包括：
将所述脏目录项从所述LRU链表中移除。
7.一种分布式文件系统中元数据的管理装置，其特征在于，包括：
脏目录项确定模块：用于响应于将元数据集群写回数据集群的指令，确定所述元数据集群中的脏目录项；
脏目录项遍历模块：用于遍历所述脏目录项，判断所述脏目录项所在的目录分片中的脏目录项是否均变更为干净目录项；
目录分片写回模块：用于当脏目录项所在的目录分片中的脏目录项均变更为干净目录项时，将所述目录分片写回所述数据集群。
8.如权利要求7所述的装置，其特征在于，所述元数据集群为属主元数据集群，所述装置还包括：
副本元数据集群创建模块：用于在属主元数据集群的访问频率大于预设阈值时，创建所述元数据集群的副本元数据集群。
9.一种分布式文件系统中元数据的管理设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序以实现如权利要求1-6任意一项所述的一种分布式文件系统中元数据的管理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的一种分布式文件系统中元数据的管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811108566.0A CN109086462A (zh) | 2018-09-21 | 2018-09-21 | 一种分布式文件系统中元数据的管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811108566.0A CN109086462A (zh) | 2018-09-21 | 2018-09-21 | 一种分布式文件系统中元数据的管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109086462A true CN109086462A (zh) | 2018-12-25 |
Family
ID=64842320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811108566.0A Pending CN109086462A (zh) | 2018-09-21 | 2018-09-21 | 一种分布式文件系统中元数据的管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109086462A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209380A (zh) * | 2019-05-30 | 2019-09-06 | 上海直真君智科技有限公司 | 一种面向大数据异构模型的统一动态元数据处理方法 |
| CN110232049A (zh) * | 2019-06-12 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 一种元数据缓存管理方法和装置 |
| CN112631521A (zh) * | 2020-12-25 | 2021-04-09 | 苏州浪潮智能科技有限公司 | 一种控制缓存池水位的方法、系统、设备及介质 |
| CN113010486A (zh) * | 2021-02-05 | 2021-06-22 | 湖南国科亿存信息科技有限公司 | 用于无中心分布式文件系统的元数据分层缓存方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050278486A1 (en) * | 2004-06-15 | 2005-12-15 | Trika Sanjeev N | Merging write-back and write-through cache policies |
| CN1945537A (zh) * | 2006-07-27 | 2007-04-11 | 清华大学 | 基于存储区域网络的高速固态存储设备的实现方法 |
| CN101252589A (zh) * | 2008-03-25 | 2008-08-27 | 中国科学院计算技术研究所 | 数据缓存装置和采用该装置的网络存储系统及缓存方法 |
| US20090019098A1 (en) * | 2007-07-10 | 2009-01-15 | International Business Machines Corporation | File system mounting in a clustered file system |
| CN102520890A (zh) * | 2011-12-30 | 2012-06-27 | 北京天地云箱科技有限公司 | 基于gpu的rs-draid系统及存储设备数据控制方法 |
| CN102521173A (zh) * | 2011-11-17 | 2012-06-27 | 曙光信息产业(北京)有限公司 | 一种自动将缓存在易失介质中的数据写回方法 |
| CN102915282A (zh) * | 2012-09-28 | 2013-02-06 | 浪潮(北京)电子信息产业有限公司 | 一种存储系统的块设备数据缓存管理方法及系统 |
| CN103885728A (zh) * | 2014-04-04 | 2014-06-25 | 华中科技大学 | 一种基于固态盘的磁盘缓存系统 |
| US20150370712A1 (en) * | 2014-06-24 | 2015-12-24 | Huawei Technologies Co., Ltd. | Method for processing error directory of node in cc-numa system, and node |
| CN105975402A (zh) * | 2016-04-28 | 2016-09-28 | 华中科技大学 | 一种混合内存环境下淘汰数据感知的缓存方法与系统 |
| CN108427648A (zh) * | 2017-02-14 | 2018-08-21 | 中兴通讯股份有限公司 | 存储系统页内脏数据索引方法和装置 |
-
2018
- 2018-09-21 CN CN201811108566.0A patent/CN109086462A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050278486A1 (en) * | 2004-06-15 | 2005-12-15 | Trika Sanjeev N | Merging write-back and write-through cache policies |
| CN1945537A (zh) * | 2006-07-27 | 2007-04-11 | 清华大学 | 基于存储区域网络的高速固态存储设备的实现方法 |
| US20090019098A1 (en) * | 2007-07-10 | 2009-01-15 | International Business Machines Corporation | File system mounting in a clustered file system |
| CN101252589A (zh) * | 2008-03-25 | 2008-08-27 | 中国科学院计算技术研究所 | 数据缓存装置和采用该装置的网络存储系统及缓存方法 |
| CN102521173A (zh) * | 2011-11-17 | 2012-06-27 | 曙光信息产业(北京)有限公司 | 一种自动将缓存在易失介质中的数据写回方法 |
| CN102520890A (zh) * | 2011-12-30 | 2012-06-27 | 北京天地云箱科技有限公司 | 基于gpu的rs-draid系统及存储设备数据控制方法 |
| CN102915282A (zh) * | 2012-09-28 | 2013-02-06 | 浪潮(北京)电子信息产业有限公司 | 一种存储系统的块设备数据缓存管理方法及系统 |
| CN103885728A (zh) * | 2014-04-04 | 2014-06-25 | 华中科技大学 | 一种基于固态盘的磁盘缓存系统 |
| US20150370712A1 (en) * | 2014-06-24 | 2015-12-24 | Huawei Technologies Co., Ltd. | Method for processing error directory of node in cc-numa system, and node |
| CN105975402A (zh) * | 2016-04-28 | 2016-09-28 | 华中科技大学 | 一种混合内存环境下淘汰数据感知的缓存方法与系统 |
| CN108427648A (zh) * | 2017-02-14 | 2018-08-21 | 中兴通讯股份有限公司 | 存储系统页内脏数据索引方法和装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209380A (zh) * | 2019-05-30 | 2019-09-06 | 上海直真君智科技有限公司 | 一种面向大数据异构模型的统一动态元数据处理方法 |
| CN110232049A (zh) * | 2019-06-12 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 一种元数据缓存管理方法和装置 |
| CN112631521A (zh) * | 2020-12-25 | 2021-04-09 | 苏州浪潮智能科技有限公司 | 一种控制缓存池水位的方法、系统、设备及介质 |
| CN112631521B (zh) * | 2020-12-25 | 2023-01-06 | 苏州浪潮智能科技有限公司 | 一种控制缓存池水位的方法、系统、设备及介质 |
| CN113010486A (zh) * | 2021-02-05 | 2021-06-22 | 湖南国科亿存信息科技有限公司 | 用于无中心分布式文件系统的元数据分层缓存方法及装置 |
| CN113010486B (zh) * | 2021-02-05 | 2021-11-26 | 湖南国科亿存信息科技有限公司 | 用于无中心分布式文件系统的元数据分层缓存方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7711916B2 (en) | Storing information on storage devices having different performance capabilities with a storage system | |
| US10275489B1 (en) | Binary encoding-based optimizations at datastore accelerators | |
| CN109086462A (zh) | 一种分布式文件系统中元数据的管理方法 | |
| AU2006262111B2 (en) | Managing memory pages | |
| CN109471843A (zh) | 一种元数据缓存方法、系统及相关装置 | |
| CN110399096A (zh) | 分布式文件系统元数据缓存重删的方法、装置以及设备 | |
| CN109117088A (zh) | 一种数据处理方法及系统 | |
| CN109491605A (zh) | 一种基于cow的数据存储方法、装置和介质 | |
| CN110032543A (zh) | 一种存储文件系统的管理方法 | |
| CN109213450A (zh) | 一种基于闪存阵列的关联元数据删除方法、装置及设备 | |
| US10146833B1 (en) | Write-back techniques at datastore accelerators | |
| US11429311B1 (en) | Method and system for managing requests in a distributed system | |
| US11144243B2 (en) | Method and device for managing redundant array of independent disks and computer program product | |
| CN115129618A (zh) | 用于优化数据缓存的方法和设备 | |
| CN110832473A (zh) | 日志结构管理系统及方法 | |
| US20120117329A1 (en) | Combination based lru caching | |
| CN109992708A (zh) | 一种元数据查询的方法、装置、设备以及存储介质 | |
| CN108804571A (zh) | 一种数据存储方法、装置以及设备 | |
| KR102214697B1 (ko) | 데이터베이스 관리 시스템에서 데이터 저장을 위한 공간 관리를 제공하는 컴퓨터 프로그램 | |
| CN110658999B (zh) | 一种信息更新方法、装置、设备及计算机可读存储介质 | |
| CN107193947A (zh) | 一种文件系统缓存增量刷新方法及系统 | |
| CN105740167B (zh) | 一种文件系统缓存删除的方法及系统 | |
| US11836090B2 (en) | Cache management for search optimization | |
| US11775433B2 (en) | Cache management for search optimization | |
| US11556470B2 (en) | Cache management for search optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181225 |