CN110399096A - 分布式文件系统元数据缓存重删的方法、装置以及设备 - Google Patents

分布式文件系统元数据缓存重删的方法、装置以及设备 Download PDF

Info

Publication number
CN110399096A
CN110399096A CN201910555090.3A CN201910555090A CN110399096A CN 110399096 A CN110399096 A CN 110399096A CN 201910555090 A CN201910555090 A CN 201910555090A CN 110399096 A CN110399096 A CN 110399096A
Authority
CN
China
Prior art keywords
properties
metadata
file
file system
mapping table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910555090.3A
Other languages
English (en)
Other versions
CN110399096B (zh
Inventor
李雪生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Suzhou Wave Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wave Intelligent Technology Co Ltd filed Critical Suzhou Wave Intelligent Technology Co Ltd
Priority to CN201910555090.3A priority Critical patent/CN110399096B/zh
Publication of CN110399096A publication Critical patent/CN110399096A/zh
Application granted granted Critical
Publication of CN110399096B publication Critical patent/CN110399096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明公开了一种分布式文件系统元数据缓存重删的方法、装置、设备以及计算机可读存储介质，包括：分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组；对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表；根据所述重删映射表，重新构建所述各个文件元数据的内存结构。本发明所提供的方法、装置、设备以及计算机可读存储介质，消除了元数据内存缓存的重复数据，提高内存容量使用率。

Description

分布式文件系统元数据缓存重删的方法、装置以及设备
技术领域
本发明涉及分布式文件系统管理技术领域，特别是涉及一种分布式文件系统元数据缓存重删的方法、装置、设备以及计算机可读存储介质。
背景技术
大数据时代非结构化的数据成爆炸式快速的增长，海量数据以文件格式保存、管理、使用，造成文件数量很庞大。元数据是描述数据的数据，指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息等。
不论是集中式管理还是分布式管理，都面临的元数据内存使用效率的问题；在内存有限的前提下，海量的文件之间存在大量的重复信息，这些重复的数据造成了内存使用量的浪费，也让缓存的元数据数据量变小。
综上所述可以看出，如何消除文件元数据内存缓存的重复数据是目前有待解决的问题。
发明内容
本发明的目的是提供一种分布式文件系统元数据缓存重删的方法、装置、设备以及计算机可读存储介质，以解决现有技术中中文件元数据内存缓存中存在大量重复数据，导致内存使用量的浪费的问题。
为解决上述技术问题，本发明提供一种分布式文件系统元数据缓存重删的方法，包括：分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组；对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表；根据所述重删映射表，重新构建所述各个文件元数据的内存结构。
优选地，所述分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组包括：
分别将待处理的分布式文件系统的各个文件元数据在内存中分割为基本属性组、统计信息数据组、数据分布属性组、扩展属性组、权限控制属性组和目录配额属性组。
优选地，所述对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表包括：
分别对所述各个文件元数据的各个属性组数据进行哈希计算，得到所述各个文件元数据的各个属性组的标识数据；
建立所述标识数据和所述属性组的初始映射表，若所述属性组内包括多个等值属性组，则在所述初始映射表内只保留一份所述等值属性组对应的属性组数据，得到所述分布式文件系统的重删映射表。
优选地，所述根据所述重删映射表，重新构建所述各个文件元数据的内存结构包括：
在构建所述各个文件元数据的内存结构时，对所述各个文件元数据进行重删映射，查找所述各个文件元数据的各个属性组的内存地址，以便于所述各个文件元数据缓存引用所述各个属性组内存。
优选地，所述对所述各个文件元数据进行重删映射，查找所述各个文件元数据的各个属性组的内存地址，以便于所述各个文件元数据缓存引用所述各个属性组内存包括：
对当前文件元数据进行重删映射，查找所述当前文件元数据的等值属性组；
获取所述等值属性组内存地址，以便于所述当前文件元数据缓存引用所述等值属性组内存地址；
若所述重删映射表内不存在当前属性组的等值属性组，则将所述当前属性组的属性组内存地址添加至所述重删映射表内，以便于所述当前文件元数据缓存引用所述当前属性组内存地址。
本发明还提供了一种分布式文件系统元数据缓存重删的装置，包括：
分割模块，用于分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组；
重删模块，用于对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表；
构建模块，用于根据所述重删映射表，重新构建所述各个文件元数据的内存结构。
优选地，所述分割模块具体用于：
分别将待处理的分布式文件系统的各个文件元数据在内存中分割为基本属性组、统计信息数据组、数据分布属性组、扩展属性组、权限控制属性组和目录配额属性组。
优选地，所述重删模块具体用于：
分别对所述各个文件元数据的各个属性组数据进行哈希计算，得到所述各个文件元数据的各个属性组的标识数据；
建立所述标识数据和所述属性组的初始映射表，若所述属性组内包括多个等值属性组，则在所述初始映射表内只保留一份所述等值属性组对应的属性组数据，得到所述分布式文件系统的重删映射表。
本发明还提供了一种分布式文件系统元数据缓存重删的设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种分布式文件系统元数据缓存重删的方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种分布式文件系统元数据缓存重删的方法的步骤。
本发明所提供的分布式文件系统元数据缓存重删的方法，将分布式文件系统内的各个文件元数据划分为多个属性组。对所述各个文件元数据的各个属性组进行重删计算。根据所述重删计算结果，建立所述分布式文件系统的重删映射表。在所述重删映射表内只保留了一个等值属性组，删除其他等值属性组数据的缓存。且所述重删映射表内保留的等值属性组的内存地址可以被多个文件元数据引用。根据所述重删映射表，重新构建所述各个文件元数据的内存结构。本发明通过对所述分布式文件系统的各个文件元数据进行属性分组，以解决分布式文件系统元数据内存中缓存元数据量问题，使缓存的元数据条数更多对内存缓存的元数据分组数据进行重复数据删除，消除了元数据内存缓存的重复数据，提高内存容量使用率。
相对应的，本发明所提供的分布式文件系统元数据缓存重删的装置、设备以及计算机可读存储介质均具有上述有效效果。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的分布式文件系统元数据缓存重删的方法的第一种具体实施例的流程图；
图2为本发明所提供的分布式文件系统元数据缓存重删的方法的第二种具体实施例的流程图；
图3为本发明所提供的一种重删映射表的结构图；
图4为本发明实施例提供的一种分布式文件系统元数据缓存重删的装置的结构框图。
具体实施方式
本发明的核心是提供一种分布式文件系统元数据缓存重删的方法、装置、设备以及计算机可读存储介质，消除了元数据内存缓存的重复数据，提高内存容量使用率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的分布式文件系统元数据缓存重删的方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组；
将所述各个文件元数据信息进行分割，把缓存中的文件元数据进行细粒度的管理，分成多个属性组，将每一条文件元数据在内存里分割为分成多个属性组，而不是一条文件元数据占用整个内存数据块。在本实施例中，可以将所述各个文件元数据在内存中分割为基本属性组、统计信息数据组、数据分布属性组、扩展属性组、权限控制属性组和目录配额属性组。
所述基本属性组包括标识号、大小；所述所属统计信息数据组包括目录容量、目录文件数量；所述数据分布属性组包括所属存储池标识、文件条带、块大小；所述扩展属性组包括扩展数据；所述权限控制属性组包括属主、权限、访问控制列表；所述目录配额属性组包括容量配额、个数配额、软配额、硬配额。
步骤S102：对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表；
在所述映射表中，等值的属性组在映射表里，属性组数据只保留1份，不等值的属性组，建立冲突链表。
步骤S103：根据所述重删映射表，重新构建所述各个文件元数据的内存结构。
在本实施例中，通过对分布式文件系统元数据进行属性分组，对内存缓存的元数据分组数据进行重复数据删除，达到优化分布式文件系统元数据内存中缓存元数据量问题，使缓存的元数据条数更多。
基于上述实施例，在本实施例中，根据所述重删映射表，重新构建所述各个文件元数据的内存结构时，对所述各个文件元数据进行重删映射，查找所述各个文件元数据的各个属性组的内存地址，以便于所述各个文件元数据缓存引用所述各个属性组内存。请参考图2，图2为本发明所提供的分布式文件系统元数据缓存重删的方法的第二种具体实施例的流程图；具体操作步骤如下：
步骤S201：分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组；
步骤S202：分别对所述各个文件元数据的各个属性组数据进行哈希计算，得到所述各个文件元数据的各个属性组的标识数据；
步骤S203：建立所述标识数据和所述属性组的初始映射表，若所述属性组内包括多个等值属性组，则在所述初始映射表内只保留一份所述等值属性组对应的属性组数据，得到所述分布式文件系统的重删映射表；
步骤S204：对当前文件元数据的内存结构进行重构时，对所述当前文件元数据进行重删映射，查找所述当前文件元数据的等值属性组；
步骤S205：获取所述等值属性组内存地址，以便于所述当前文件元数据缓存引用所述等值属性组内存地址；
步骤S206：若所述重删映射表内不存在当前属性组的等值属性组，则将所述当前属性组的属性组内存地址添加至所述重删映射表内，以便于所述当前文件元数据缓存引用所述当前属性组内存地址，从而完成所述当前文件元数据的内存结构的重构。
在本实施里中，通过对属性组的重删处理，优化元数据的缓存使用，元数据服务在构建每个文件元数据的内存结构的时候，包括新建、修改、加载、删除操作。
如图3所示，所述分布式文件系统的每个文件元数据可以通过所述重删映射表，找到各个属性组的内存地址。其中，等值属性组可以被多个元数据引用。利用所述第一文件元数据的内存结构为统计信息数据组A、数据分布属性组A、权限控制属性组A、目录配属性组A和扩展属性组A对应的内存地址。利用所述第二文件元数据的内存结构为统计信息数据组A、数据分布属性组B、权限控制属性组A、目录配属性组B和扩展属性组A对应的内存地址。
请参考图4，图4为本发明实施例提供的一种分布式文件系统元数据缓存重删的装置的结构框图；具体装置可以包括：
分割模块100，用于分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组；
重删模块200，用于对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表；
构建模块300，用于根据所述重删映射表，重新构建所述各个文件元数据的内存结构。
本实施例的分布式文件系统元数据缓存重删的装置用于实现前述的分布式文件系统元数据缓存重删的方法，因此分布式文件系统元数据缓存重删的装置中的具体实施方式可见前文中的分布式文件系统元数据缓存重删的方法的实施例部分，例如，分割模块100，重删模块200，构建模块300，分别用于实现上述分布式文件系统元数据缓存重删的方法中步骤S101，S102和S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种分布式文件系统元数据缓存重删的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种分布式文件系统元数据缓存重删的方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种分布式文件系统元数据缓存重删的方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的分布式文件系统元数据缓存重删的方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式文件系统元数据缓存重删的方法，其特征在于，包括：
分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组；
对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表；
根据所述重删映射表，重新构建所述各个文件元数据的内存结构。
2.如权利要求1所述的方法，其特征在于，所述分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组包括：
分别将待处理的分布式文件系统的各个文件元数据在内存中分割为基本属性组、统计信息数据组、数据分布属性组、扩展属性组、权限控制属性组和目录配额属性组。
3.如权利要求1所述的方法，其特征在于，所述对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表包括：
分别对所述各个文件元数据的各个属性组数据进行哈希计算，得到所述各个文件元数据的各个属性组的标识数据；
建立所述标识数据和所述属性组的初始映射表，若所述属性组内包括多个等值属性组，则在所述初始映射表内只保留一份所述等值属性组对应的属性组数据，得到所述分布式文件系统的重删映射表。
4.如权利要求3所述的方法，其特征在于，所述根据所述重删映射表，重新构建所述各个文件元数据的内存结构包括：
在构建所述各个文件元数据的内存结构时，对所述各个文件元数据进行重删映射，查找所述各个文件元数据的各个属性组的内存地址，以便于所述各个文件元数据缓存引用所述各个属性组内存。
5.如权利要求4所述的方法，其特征在于，所述对所述各个文件元数据进行重删映射，查找所述各个文件元数据的各个属性组的内存地址，以便于所述各个文件元数据缓存引用所述各个属性组内存包括：
对当前文件元数据进行重删映射，查找所述当前文件元数据的等值属性组；
获取所述等值属性组内存地址，以便于所述当前文件元数据缓存引用所述等值属性组内存地址；
若所述重删映射表内不存在当前属性组的等值属性组，则将所述当前属性组的属性组内存地址添加至所述重删映射表内，以便于所述当前文件元数据缓存引用所述当前属性组内存地址。
6.一种分布式文件系统元数据缓存重删的装置，其特征在于，包括：
分割模块，用于分别将待处理的分布式文件系统的各个文件元数据在内存中分割为多个属性组；
重删模块，用于对所述各个文件元数据的属性组进行重删计算，根据所述重删计算结果，建立所述分布式文件系统的重删映射表；
构建模块，用于根据所述重删映射表，重新构建所述各个文件元数据的内存结构。
7.如权利要求6所述的装置，其特征在于，所述分割模块具体用于：
分别将待处理的分布式文件系统的各个文件元数据在内存中分割为基本属性组、统计信息数据组、数据分布属性组、扩展属性组、权限控制属性组和目录配额属性组。
8.如权利要求6所述的装置，其特征在于，所述重删模块具体用于：
分别对所述各个文件元数据的各个属性组数据进行哈希计算，得到所述各个文件元数据的各个属性组的标识数据；
建立所述标识数据和所述属性组的初始映射表，若所述属性组内包括多个等值属性组，则在所述初始映射表内只保留一份所述等值属性组对应的属性组数据，得到所述分布式文件系统的重删映射表。
9.一种分布式文件系统元数据缓存重删的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述一种分布式文件系统元数据缓存重删的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述分布式文件系统元数据缓存重删的方法的步骤。
CN201910555090.3A 2019-06-25 2019-06-25 分布式文件系统元数据缓存重删的方法、装置以及设备 Active CN110399096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910555090.3A CN110399096B (zh) 2019-06-25 2019-06-25 分布式文件系统元数据缓存重删的方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910555090.3A CN110399096B (zh) 2019-06-25 2019-06-25 分布式文件系统元数据缓存重删的方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN110399096A true CN110399096A (zh) 2019-11-01
CN110399096B CN110399096B (zh) 2022-12-23

Family

ID=68323433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910555090.3A Active CN110399096B (zh) 2019-06-25 2019-06-25 分布式文件系统元数据缓存重删的方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN110399096B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090620A (zh) * 2019-12-06 2020-05-01 浪潮电子信息产业股份有限公司 一种文件存储方法、装置、设备及可读存储介质
CN111258508A (zh) * 2020-02-16 2020-06-09 西安奥卡云数据科技有限公司 一种分布式对象存储中的元数据管理方法
CN111338581A (zh) * 2020-03-27 2020-06-26 尹兵 基于云计算的数据存储方法、装置、云服务器及系统
CN114442961A (zh) * 2022-02-07 2022-05-06 苏州浪潮智能科技有限公司 数据处理方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122130A (zh) * 2017-04-13 2017-09-01 杭州宏杉科技股份有限公司 一种数据重删方法及装置
CN109325001A (zh) * 2018-08-20 2019-02-12 郑州云海信息技术有限公司 基于元数据服务器删除小文件的方法、装置及设备
CN109614377A (zh) * 2018-12-07 2019-04-12 浪潮电子信息产业股份有限公司 分布式文件系统的文件删除方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122130A (zh) * 2017-04-13 2017-09-01 杭州宏杉科技股份有限公司 一种数据重删方法及装置
CN109325001A (zh) * 2018-08-20 2019-02-12 郑州云海信息技术有限公司 基于元数据服务器删除小文件的方法、装置及设备
CN109614377A (zh) * 2018-12-07 2019-04-12 浪潮电子信息产业股份有限公司 分布式文件系统的文件删除方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090620A (zh) * 2019-12-06 2020-05-01 浪潮电子信息产业股份有限公司 一种文件存储方法、装置、设备及可读存储介质
CN111090620B (zh) * 2019-12-06 2022-04-22 浪潮电子信息产业股份有限公司 一种文件存储方法、装置、设备及可读存储介质
CN111258508A (zh) * 2020-02-16 2020-06-09 西安奥卡云数据科技有限公司 一种分布式对象存储中的元数据管理方法
CN111338581A (zh) * 2020-03-27 2020-06-26 尹兵 基于云计算的数据存储方法、装置、云服务器及系统
CN114442961A (zh) * 2022-02-07 2022-05-06 苏州浪潮智能科技有限公司 数据处理方法、装置、计算机设备及存储介质
CN114442961B (zh) * 2022-02-07 2023-08-08 苏州浪潮智能科技有限公司 数据处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110399096B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN110399096A (zh) 分布式文件系统元数据缓存重删的方法、装置以及设备
US10831736B2 (en) Fast multi-tier indexing supporting dynamic update
CN102985909B (zh) 为良好分格的对象提供高扩展性网络存储的方法和设备
CN105205014B (zh) 一种数据存储方法和装置
CN106777351A (zh) 基于art树分布式系统图存储计算系统及其方法
CN104881466B (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN102694828B (zh) 一种分布式缓存系统数据存取的方法及装置
CN107066397A (zh) 剖析缓存替换
WO2013061680A1 (ja) 情報処理装置、データ・アクセス方法およびプログラム
CN106407303A (zh) 数据存储、查询方法及装置
CN106776967A (zh) 基于时序聚合算法的海量小文件实时存储方法及装置
CN104639658A (zh) 一种以文件系统挂载访问对象存储的实现方法
CN106682110B (zh) 一种基于哈希格网索引的影像文件存储和管理系统及方法
CN103678172A (zh) 一种本地数据缓存管理方法及装置
CN109344157A (zh) 读写分离方法、装置、计算机设备及存储介质
CN109086462A (zh) 一种分布式文件系统中元数据的管理方法
CN106657356A (zh) 一种云存储系统的数据写入方法、装置及云存储系统
CN106570113B (zh) 一种海量矢量切片数据云存储方法及系统
CN106155934A (zh) 一种云环境下基于重复数据的缓存方法
CN109471843A (zh) 一种元数据缓存方法、系统及相关装置
CN107632791A (zh) 一种存储空间的分配方法及系统
CN107766355B (zh) 层级数据管理方法、层级数据管理系统及即时通信系统
CN106528703A (zh) 一种重复删除的模式切换方法及装置
CN111427920B (zh) 数据采集方法、装置、系统、计算机设备及存储介质
CN109213450A (zh) 一种基于闪存阵列的关联元数据删除方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant