CN111125024B - 一种分布式系统文件的删除方法、装置、设备及存储介质 - Google Patents

一种分布式系统文件的删除方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111125024B
CN111125024B CN201911205045.1A CN201911205045A CN111125024B CN 111125024 B CN111125024 B CN 111125024B CN 201911205045 A CN201911205045 A CN 201911205045A CN 111125024 B CN111125024 B CN 111125024B
Authority
CN
China
Prior art keywords
file
deleting
deleted
deletion
mds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911205045.1A
Other languages
English (en)
Other versions
CN111125024A (zh
Inventor
李伟
孟祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201911205045.1A priority Critical patent/CN111125024B/zh
Publication of CN111125024A publication Critical patent/CN111125024A/zh
Priority to US17/780,881 priority patent/US12001397B2/en
Priority to PCT/CN2020/103740 priority patent/WO2021103600A1/zh
Application granted granted Critical
Publication of CN111125024B publication Critical patent/CN111125024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式系统文件的删除方法、装置、设备及存储介质，该方法包括：查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；若有未完成的文件删除操作，则继续删除子树根在对应的MDS下的数据，并判断子树根是否是副本；若子树根是副本，则在MDS的内存中删除子树根副本。本申请通过上述步骤可以减少分布式文件系统中子树根的副本数目，从而减小不同MDS之间主副本加锁的交互次数，进而提高文件删除效率，提升产品用户友好度和差异化竞争力。

Description

一种分布式系统文件的删除方法、装置、设备及存储介质
技术领域
本发明涉及分布式存储技术领域，特别是涉及一种分布式系统文件的删除方法、装置、设备及存储介质。
背景技术
目前的分布式存储文件系统中，当一个文件创建时，元数据服务(MetadataServer，简称MDS)会一次性给这个文件的元数据预分配8*4M(4M为基带值默认值)的大小，如果该文件在写入的过程需要的空间超过了该值，MDS会继续给这个文件的元数据预分配空间，如果未超过将不会再次分配空间给这个文件，但是也不会更改该文件元数据中标识的预分配空间大小值，文件元数据预分配的大小并不是文件真实占据的大小，只是在元数据中对文件可能的最大大小的一个标识。
当前分布式文件系统中一般存在多个MDS，业务模型中一般也会存在不止一个的子树(Subtree)。特别是如果业务大部分为小文件(小于4M)的读写、删除操作，那么在该类场景下，对文件进行删除的时候，会由于删除操作需要等待不同MDS间对子树根主副本进行加解锁；同时，虽然文件本身只写入了部分数据，但是删除时需要将文件分解为4M一个大小的待删除对象，这样这些小文件虽然本身只写入了4M左右的数据，但还是会分为8个待删除对象，由MDS下发给对象存储设备(Object Storage Device，OSD)完成删除操作。这些加锁及多余的删除下发操作都会造成文件删除效率的降低；若多个MDS上存在待删除业务的子树根数目差别较大，也会造成有些MDS负载过高从而导致整体删除效率的降低。
因此，如何在分布式存储文件系统下提高文件的删除效率，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种分布式系统文件的删除方法、装置、设备及存储介质，可以提高文件删除效率。其具体方案如下：
一种分布式系统文件的删除方法，包括：
查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；
若有未完成的文件删除操作，则继续删除所述子树根在对应的MDS下的数据，并判断所述子树根是否是副本；
若所述子树根是副本，则在MDS的内存中删除所述子树根副本。
优选地，在本发明实施例提供的上述分布式系统文件的删除方法中，还包括：
若没有未完成的文件删除操作，在分布式系统中创建定时删除任务；
根据创建的所述定时删除任务，均衡不同MDS间待删除子树根数目。
优选地，在本发明实施例提供的上述分布式系统文件的删除方法中，根据创建的所述定时删除任务，均衡不同MDS间待删除子树根数目，具体包括：
获取并记录每个MDS上存在所述定时删除任务的待删除子树根数目；
计算所有MDS上待删除子树根数目的平均值；
从待删除子树根数目最多的对应的MDS开始，依次向低于所述平均值的MDS迁移待删除子树根，直至没有MDS对应的待删除子树根数目小于所述平均值。
优选地，在本发明实施例提供的上述分布式系统文件的删除方法中，还包括：
根据文件实际大小，对待删除文件进行分割及删除操作。
优选地，在本发明实施例提供的上述分布式系统文件的删除方法中，根据文件实际大小，对待删除文件进行分割及删除操作，具体包括：
根据文件实际大小，将待删除文件分割为多个大小等于条带值的待删除对象；
将所述待删除对象按照设定顺序依次发送给所述待删除对象对应的OSD；
通过所述OSD对所有的所述待删除对象进行磁盘删除操作。
本发明实施例还提供了一种分布式系统文件的删除装置，包括：
操作查询模块，用于查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；
副本判断模块，用于若有未完成的文件删除操作，则继续删除所述子树根在对应的MDS下的数据，并判断所述子树根是否是副本；
副本删除模块，用于若所述子树根是副本，则在MDS的内存中删除所述子树根副本。
优选地，在本发明实施例提供的上述分布式系统文件的删除装置中，还包括：
任务创建模块，用于若没有未完成的文件删除操作，在分布式系统中创建定时删除任务；
子树根均衡模块，用于根据创建的所述定时删除任务，均衡不同MDS间待删除子树根数目。
优选地，在本发明实施例提供的上述分布式系统文件的删除装置中，还包括：
文件分割模块，用于根据文件实际大小，对待删除文件进行分割及删除操作。
本发明实施例还提供了一种分布式系统文件的删除设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述分布式系统文件的删除方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述分布式系统文件的删除方法。
从上述技术方案可以看出，本发明所提供的一种分布式系统文件的删除方法、装置、设备及存储介质，包括：查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；若有未完成的文件删除操作，则继续删除子树根在对应的MDS下的数据，并判断子树根是否是副本；若子树根是副本，则在MDS的内存中删除子树根副本。
本发明通过上述步骤可以减少分布式文件系统中子树根的副本数目，从而减小不同MDS之间主副本加锁的交互次数，进而提高文件删除效率，提升产品用户友好度和差异化竞争力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的分布式系统文件的删除方法的流程图之一；
图2为本发明实施例提供的分布式系统文件的删除方法的流程图之二；
图3为本发明实施例提供的分布式系统文件的删除装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种分布式系统文件的删除方法，如图1所示，包括以下步骤：
S101、对某一MDS下的删除业务进行文件删除操作；
S102、在每次删除完成后，查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；
若有未完成的文件删除操作，则执行步骤S103；
S103、继续删除子树根在对应的MDS下的数据，并判断子树根是否是副本；
若子树根是副本，则执行步骤S104；若子树根是主本，直接跳过即可；这里通过子树根的inode中的属性标志，就可以判断是主本还是副本；
S104、在MDS的内存中删除子树根副本。
在本发明实施例提供的上述分布式系统文件的删除方法中，包括：查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；若有未完成的文件删除操作，则继续删除子树根在对应的MDS下的数据，并判断子树根是否是副本；若子树根是副本，则在MDS的内存中删除子树根副本。通过上述步骤可以减少分布式文件系统中子树根的副本数目，从而减小不同MDS之间主副本加锁的交互次数，进而提高文件删除效率，提升产品用户友好度和差异化竞争力。
在具体实施时，在本发明实施例提供的上述分布式系统文件的删除方法中，如图2所示，还可以包括：
若没有未完成的文件删除操作，则执行步骤S105；
S105、在分布式系统中创建定时删除任务；需要了解的是，该定时删除任务中的时间可以由用户根据业务情况指定，一般选择正常非删除业务较少的实收；在任务启动后进行如下操作：
S106、根据创建的定时删除任务，均衡不同MDS间待删除子树根数目。
通过步骤S106可以使不同MDS间待删除的子树根数目大致一致，从而使不同MDS间的删除业务压力大致一致，充分发挥所有MDS的性能，进而达到提升整体删除性能的目的。
进一步地，在具体实施时，步骤S106根据创建的定时删除任务，均衡不同MDS间待删除子树根数目，具体可以包括以下步骤：
步骤一、获取并记录每个MDS上存在定时删除任务的待删除子树根数目；
步骤二、计算所有MDS上待删除子树根数目的平均值；
步骤三、从待删除子树根数目最多的对应的MDS开始，依次向低于平均值的MDS迁移待删除子树根；在实际应用中，在达到平均值(平均值可能不是整数，达到整数值即可)后，选择当前待删除子树根数目最高的MDS，再次重复步骤三，直至没有MDS对应的待删除子树根数目小于平均值。
在具体实施时，在本发明实施例提供的上述分布式系统文件的删除方法中，如图2所示，还可以包括：
S107、根据文件实际大小，对待删除文件进行分割及删除操作。
可以理解的是，文件创建时MDS会在文件的元数据中预分配一个大小(一般为8*条带值，一般条带值默认4M)，文件元数据创建完成后，会向该文件实际写入数据，如果写入的文件大小不大于元数据中预分配的文件大小就不会继续向MDS申请分配空间(MDS会根据需要每次分配一定的空间给客户端)，否则就继续向MDS申请空间，MDS会再次分配给一个可写入空间给客户端；这里元数据中会记录文件的两个大小，一个是预分配的文件大小，一个是文件实际写入的大小(即文件实际大小)。本发明就是按照文件实际大小实现对待删除文件的分割，以及之后的删除操作。
进一步地，在具体实施时，步骤S107根据文件实际大小，对待删除文件进行分割及删除操作，具体可以包括以下步骤：
首先，根据文件实际大小，将待删除文件分割为多个大小等于条带值(默认4M)的待删除对象；具体地，原来的操作中会根据元数据预分配的大小进行分配，特别是对于小于1M的小文件，这种分配方法会导致很多空的没必要删除的待删除对象产生，而在本发明中，对于每个待删除文件，MDS会将文件按照实际大小分割为一个一个大小等于条带值(默认4M)的对象；
然后，将待删除对象按照设定顺序依次发送给待删除对象对应的OSD；
最后，通过OSD对所有的待删除对象进行磁盘删除操作；在所有一个文件所分割成的所有待删除对象全部删除完成后，该文件才会被认为删除完成。
通过上述步骤可以减少空的没必要生成的待删除对象的产生；这种分割方法对于小文件(大小小于1M，每次分割中有八分之七的带删除对象是没要产生的(大小小于1M，每次分割中有八分之七的带删除对象是没要产生的)的删除操作，性能提升尤其明显；并且，文件分割成的待删除对象数目的减少可大大减少MDS与OSD之间的交互次数，从而加快整个删除进程。
基于同一发明构思，本发明实施例还提供了一种分布式系统文件的删除装置，由于该分布式系统文件的删除装置解决问题的原理与前述一种分布式系统文件的删除方法相似，因此该分布式系统文件的删除装置的实施可以参见分布式系统文件的删除方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的分布式系统文件的删除装置，如图3所示，具体包括：
操作查询模块11，用于查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；
副本判断模块12，用于若有未完成的文件删除操作，则继续删除子树根在对应的MDS下的数据，并判断子树根是否是副本；
副本删除模块13，用于若子树根是副本，则在MDS的内存中删除子树根副本。
在本发明实施例提供的上述分布式系统文件的删除装置中，可以通过上述三个模块的相互作用，减少分布式文件系统中子树根的副本数目，以减小不同MDS之间主副本加锁的交互次数，进而提高文件删除效率。
进一步地，在具体实施时，在本发明实施例提供的上述分布式系统文件的删除装置中，还可以包括：
任务创建模块14，用于若没有未完成的文件删除操作，在分布式系统中创建定时删除任务；
子树根均衡模块15，用于根据创建的定时删除任务，均衡不同MDS间待删除子树根数目。
通过上述两个模块的相互作用，可以使不同MDS间待删除的子树根数目大致一致，从而使不同MDS间的删除业务压力大致一致，充分发挥所有MDS的性能，进而达到提升整体删除性能的目的。
进一步地，在具体实施时，在本发明实施例提供的上述分布式系统文件的删除装置中，还可以包括：
文件分割模块16，用于根据文件实际大小，对待删除文件进行分割及删除操作。
通过上述模块的作用可以减少空的没必要生成的待删除对象的产生，大大减少MDS与OSD之间的交互次数，从而加快整个删除进程。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应的，本发明实施例还公开了一种分布式系统文件的删除设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的分布式系统文件的删除方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的分布式系统文件的删除方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种分布式系统文件的删除方法、装置、设备及存储介质，包括：查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；若有未完成的文件删除操作，则继续删除子树根在对应的MDS下的数据，并判断子树根是否是副本；若子树根是副本，则在MDS的内存中删除子树根副本。通过上述步骤可以减少分布式文件系统中子树根的副本数目，从而减小不同MDS之间主副本加锁的交互次数，进而提高文件删除效率，提升产品用户友好度和差异化竞争力。
最后，还需要说明的是，在本文中，关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的分布式系统文件的删除方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种分布式系统文件的删除方法，其特征在于，包括：
对某一MDS下的删除业务进行文件删除操作；在每次删除完成后，查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；
若有未完成的文件删除操作，则继续删除所述子树根在对应的MDS下的数据，并判断所述子树根是否是副本；
若所述子树根是副本，则在MDS的内存中删除所述子树根副本；若子树根是主本，直接跳过；
若没有未完成的文件删除操作，在分布式系统中创建定时删除任务；
根据创建的所述定时删除任务，均衡不同MDS间待删除子树根数目。
2.根据权利要求1所述的分布式系统文件的删除方法，其特征在于，根据创建的所述定时删除任务，均衡不同MDS间待删除子树根数目，具体包括：
获取并记录每个MDS上存在所述定时删除任务的待删除子树根数目；
计算所有MDS上待删除子树根数目的平均值；
从待删除子树根数目最多的对应的MDS开始，依次向低于所述平均值的MDS迁移待删除子树根，直至没有MDS对应的待删除子树根数目小于所述平均值。
3.根据权利要求2所述的分布式系统文件的删除方法，其特征在于，还包括：
根据文件实际大小，对待删除文件进行分割及删除操作。
4.根据权利要求3所述的分布式系统文件的删除方法，其特征在于，根据文件实际大小，对待删除文件进行分割及删除操作，具体包括：
根据文件实际大小，将待删除文件分割为多个大小等于条带值的待删除对象；
将所述待删除对象按照设定顺序依次发送给所述待删除对象对应的OSD；
通过所述OSD对所有的所述待删除对象进行磁盘删除操作。
5.一种分布式系统文件的删除装置，其特征在于，包括：
操作查询模块，用于对某一MDS下的删除业务进行文件删除操作；在每次删除完成后，查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；
副本判断模块，用于若有未完成的文件删除操作，则继续删除所述子树根在对应的MDS下的数据，并判断所述子树根是否是副本；
副本删除模块，用于若所述子树根是副本，则在MDS的内存中删除所述子树根副本；若子树根是主本，直接跳过；
任务创建模块，用于若没有未完成的文件删除操作，在分布式系统中创建定时删除任务；
子树根均衡模块，用于根据创建的所述定时删除任务，均衡不同MDS间待删除子树根数目。
6.根据权利要求5所述的分布式系统文件的删除装置，其特征在于，还包括：
文件分割模块，用于根据文件实际大小，对待删除文件进行分割及删除操作。
7.一种分布式系统文件的删除设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至4任一项所述的分布式系统文件的删除方法。
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的分布式系统文件的删除方法。
CN201911205045.1A 2019-11-29 2019-11-29 一种分布式系统文件的删除方法、装置、设备及存储介质 Active CN111125024B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911205045.1A CN111125024B (zh) 2019-11-29 2019-11-29 一种分布式系统文件的删除方法、装置、设备及存储介质
US17/780,881 US12001397B2 (en) 2019-11-29 2020-07-23 Method, apparatus and device for deleting distributed system file, and storage medium
PCT/CN2020/103740 WO2021103600A1 (zh) 2019-11-29 2020-07-23 一种分布式系统文件的删除方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911205045.1A CN111125024B (zh) 2019-11-29 2019-11-29 一种分布式系统文件的删除方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111125024A CN111125024A (zh) 2020-05-08
CN111125024B true CN111125024B (zh) 2022-05-24

Family

ID=70496328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911205045.1A Active CN111125024B (zh) 2019-11-29 2019-11-29 一种分布式系统文件的删除方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US12001397B2 (zh)
CN (1) CN111125024B (zh)
WO (1) WO2021103600A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125024B (zh) 2019-11-29 2022-05-24 浪潮电子信息产业股份有限公司 一种分布式系统文件的删除方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368222A (zh) * 2011-10-25 2012-03-07 曙光信息产业(北京)有限公司 一种多副本存储系统在线修复的方法
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN103218175A (zh) * 2013-04-01 2013-07-24 无锡成电科大科技发展有限公司 多租户的云存储平台访问控制系统
CN103279568A (zh) * 2013-06-18 2013-09-04 无锡紫光存储系统有限公司 一种元数据管理系统及方法
WO2018058949A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种数据存储方法、装置及系统
CN109492201A (zh) * 2018-11-08 2019-03-19 大连瀚闻资讯有限公司 应用于量值对比的文件格式转化方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8473532B1 (en) * 2003-08-12 2013-06-25 Louisiana Tech University Research Foundation Method and apparatus for automatic organization for computer files
US7349926B2 (en) * 2004-03-30 2008-03-25 International Business Machines Corporation Atomic renaming and moving of data files while permitting lock-free look-ups
US8488178B2 (en) * 2006-06-21 2013-07-16 Kyocera Document Solutions Inc. Image forming apparatus storage files with file attribution table having deletion date and flag
US8706690B2 (en) * 2008-05-12 2014-04-22 Blackberry Limited Systems and methods for space management in file systems
US8799214B2 (en) * 2008-11-21 2014-08-05 At&T Intellectual Property I, L.P. Methods, computer program products, and systems for automatically synchronizing directory structures across different applications
WO2010150277A2 (en) * 2009-06-03 2010-12-29 The Information Company Private Limited A method and system for directory management
CN101692239B (zh) 2009-10-19 2012-10-03 浙江大学 一种分布式文件系统元数据分配方法
US9678968B1 (en) * 2010-05-03 2017-06-13 Panzura, Inc. Deleting a file from a distributed filesystem
US20120096059A1 (en) * 2010-10-13 2012-04-19 Hitachi, Ltd. Storage apparatus and file system management method
US8332357B1 (en) * 2011-06-10 2012-12-11 Microsoft Corporation Identification of moved or renamed files in file synchronization
JP5871583B2 (ja) * 2011-11-22 2016-03-01 キヤノン株式会社 文書管理装置及びその制御方法、並びにプログラム
JP5759915B2 (ja) * 2012-02-15 2015-08-05 株式会社日立ソリューションズ ファイルリスト生成方法及びシステム並びにプログラム、ファイルリスト生成装置
US20130218934A1 (en) * 2012-02-17 2013-08-22 Hitachi, Ltd. Method for directory entries split and merge in distributed file system
US9563628B1 (en) * 2012-12-11 2017-02-07 EMC IP Holding Company LLC Method and system for deletion handling for incremental file migration
US9304657B2 (en) * 2013-12-31 2016-04-05 Abbyy Development Llc Audio tagging
US10545917B2 (en) * 2014-02-19 2020-01-28 Snowflake Inc. Multi-range and runtime pruning
US10387369B1 (en) * 2014-06-30 2019-08-20 EMC IP Holding Company LLC Managing file deletions of files and versions of files in storage systems
US10216757B1 (en) * 2014-12-23 2019-02-26 EMC IP Holding Company LLC Managing deletion of replicas of files
US10261944B1 (en) * 2016-03-29 2019-04-16 EMC IP Holding Company LLC Managing file deletions in storage systems
US10264072B2 (en) * 2016-05-16 2019-04-16 Carbonite, Inc. Systems and methods for processing-based file distribution in an aggregation of cloud storage services
US11422719B2 (en) * 2016-09-15 2022-08-23 Pure Storage, Inc. Distributed file deletion and truncation
CN106874383B (zh) 2017-01-10 2019-12-20 清华大学 一种分布式文件系统元数据的解耦合分布方法
CN107491529B (zh) * 2017-08-18 2020-05-08 华为技术有限公司 一种快照删除方法及节点
US20190347033A1 (en) * 2018-05-10 2019-11-14 Synology Inc. Apparatuses and methods and computer program products for facilitating deletions of file data that is protected by copy-on-write snapshots
US11016855B2 (en) * 2019-01-04 2021-05-25 Rubrik, Inc. Fileset storage and management
US11561899B2 (en) * 2019-05-29 2023-01-24 International Business Machines Corporation Method and system of managing a file cache by selective delete-on-read operations
CN111125024B (zh) * 2019-11-29 2022-05-24 浪潮电子信息产业股份有限公司 一种分布式系统文件的删除方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368222A (zh) * 2011-10-25 2012-03-07 曙光信息产业(北京)有限公司 一种多副本存储系统在线修复的方法
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN103218175A (zh) * 2013-04-01 2013-07-24 无锡成电科大科技发展有限公司 多租户的云存储平台访问控制系统
CN103279568A (zh) * 2013-06-18 2013-09-04 无锡紫光存储系统有限公司 一种元数据管理系统及方法
WO2018058949A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种数据存储方法、装置及系统
CN109492201A (zh) * 2018-11-08 2019-03-19 大连瀚闻资讯有限公司 应用于量值对比的文件格式转化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"分布式文件系统关键技术研究与实现";薛伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111015;第1-62页 *

Also Published As

Publication number Publication date
WO2021103600A1 (zh) 2021-06-03
US20230025135A1 (en) 2023-01-26
CN111125024A (zh) 2020-05-08
US12001397B2 (en) 2024-06-04

Similar Documents

Publication Publication Date Title
CN109857803B (zh) 数据同步方法、装置、设备、系统及计算机可读存储介质
CN107315533A (zh) 一种数据存储方法及装置
EP4105793A1 (en) Signature-based cache optimization for data preparation
CN110399096B (zh) 分布式文件系统元数据缓存重删的方法、装置以及设备
CN106874348A (zh) 文件存储和索引方法、装置及读取文件的方法
CN105404691A (zh) 一种文件存储的方法及装置
CN110008174A (zh) 一种目录导出方法、系统及相关装置
CN106446044A (zh) 存储空间回收方法及装置
CN111125024B (zh) 一种分布式系统文件的删除方法、装置、设备及存储介质
CN111767258A (zh) 应用于海量文件的文件压缩方法、装置、设备及存储介质
CN105677903A (zh) 获取数据的方法和装置、计算机设备
CN106708822A (zh) 一种文件存储方法和装置
CN108897858A (zh) 分布式集群索引分片的评估方法及装置、电子设备
CN112965939A (zh) 一种文件合并方法、装置和设备
CN109426458B (zh) 一种关系图的打印方法和装置
CN108595482A (zh) 一种数据索引方法及装置
CN104932982A (zh) 一种消息访存的编译方法及相关装置
CN106933970A (zh) 一种快速烧录数据至ext分区的方法和装置
CN114564208A (zh) 安卓应用程序的反编译方法、电子设备和介质
CN113806365A (zh) 一种单数据源数据管理方法、装置及存储介质
CN113590566A (zh) 基于堆结构的SequenceFile存储优化方法、装置、设备及存储介质
CN112162949A (zh) 一种文件管理方法、系统、电子设备及存储介质
CN112232032B (zh) docx文档的内容样式自动转换方法
US20170212940A1 (en) File system for supporting time-series analysis and operating method thereof
CN116383290B (zh) 一种数据泛化解析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant