CN113590546A - 一种目录删除方法、装置及存储介质 - Google Patents
一种目录删除方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113590546A CN113590546A CN202110742686.1A CN202110742686A CN113590546A CN 113590546 A CN113590546 A CN 113590546A CN 202110742686 A CN202110742686 A CN 202110742686A CN 113590546 A CN113590546 A CN 113590546A
- Authority
- CN
- China
- Prior art keywords
- directory
- deleted
- metadata
- client
- metadata server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000037430 deletion Effects 0.000 claims abstract description 55
- 238000012217 deletion Methods 0.000 claims abstract description 54
- 230000008569 process Effects 0.000 claims description 32
- 238000011084 recovery Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 abstract description 3
- 238000013508 migration Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及的目录删除方法、装置及存储介质。其中方法包括:在系统文件目录下创建第二目录,将待删除目录的数据移动到所述第二目录;在待删除目录的元数据所处的元数据服务器中创建第一目录,将待删除目录的元数据移动到所述第一目录;客户端将全部元数据服务器的第一目录缓存在本地指定位置,根据所述指定位置待删除目录的元数据内容,索引到所述第二目录下的待删除目录的数据,并执行删除操作删除所述待删除目录的数据;待删除目录的数据删除后,所述客户端删除本地指定位置以及元数据服务器第一目录下相应待删除目录的元数据。应用本申请元数据服务器之间不会因删除目录而产生元数据迁移,保证分布式文件系统的整体性能。
Description
技术领域
本申请涉及分布式文件系统目录删除领域,尤其涉及一种目录删除方法、装置及存储介质。
背景技术
分布式文件系统一般包含客户端,元数据服务器和数据服务器,客户端负责文件数据的访问接口制定,元数据服务器处理文件的布局及属性,数据服务器存储文件的数据内容。
对于分布式文件系统,可以存储海量数据是其最主要的特征,分布式文件系统的文件目录下可能包含容量很大的大量子目录和文件大量的文件,在进行递归目录删除时,如果直接删除,往往会产生大量的磁盘io,直接影响了分布式文件系统正常的数据读写,降低了整个分布式文件系统的读写性能,删除过程耗时长,用户体验较差。现有的删除方式包括:将待删除目录移动到系统隐藏文件夹下以达到快速删除的目的,然而在目录移动过程中,待删除目录所归属的元数据服务器与移动的待删除目录所归属的元数据服务器可能并不一致,导致移动过程中需要大量的元数据迁移,造成元数据服务器的资源消耗,影响分布式文件系统的整体性能。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供一种目录删除方法、装置及存储介质。
第一方面,本申请提供一种目录删除方法,应用于分布式文件系统,包括:
在系统文件目录下创建第二目录,将待删除目录的数据移动到所述第二目录;
在待删除目录的元数据所处的元数据服务器中创建第一目录,将待删除目录的元数据移动到所述第一目录;
客户端将全部元数据服务器的第一目录缓存在本地指定位置,
根据所述指定位置待删除目录的元数据内容,索引到所述第二目录下的待删除目录的数据,并执行删除操作删除所述待删除目录的数据;
待删除目录的数据删除后,所述客户端删除本地指定位置以及元数据服务器第一目录下相应待删除目录的元数据。
更进一步地,分布式文件系统的客户端在系统文件目录下创建用于集中存放待删除目录的第二目录:
所述客户端先检测分布式文件系统的系统文件目录下是否已存在所述第二目录,
如果不存在则在系统文件目录下创建所述第二目录。
更进一步地,将待删除目录的数据移动到所述第二目录包括:
所述客户端接收待删除目录的删除请求,
所述客户端根据待删除目录的元数据确定待删除目录是否为空目录,是则所述客户端向元数据服务器集群发送删除指令,直接删除待删除目录的元数据;
否则所述客户端将相应待删除目录的数据移动到第二目录。
更进一步地,所述客户端对移动到所述第二目录中的待删除目录的数据进行重命名,重命名的名称包括:当前名称和时间戳。
更进一步地,在待删除目录的元数据所处的元数据服务器中创建第一目录,将待删除目录的元数据移动到所述第一目录包括:
所述客户端根据待删除目录的元数据确定待删除目录为非空目录时,所述客户端将向元数据服务器集群请求待删除目录的元数据服务器号;
所述元数据服务器集群将所述元数据服务器号反馈给所述客户端;
所述客户端根据获取的所述元数据服务器号在相应的元数据服务器中创建所述第一目录;
将待删除目录的元数据移动到所述第一目录中。
更进一步地,为待删除目录设定一个优先级属性,根据待删除目录的优先级属性控制删除待删除目录的执行顺序。
更进一步地,还包括将第一目录中未处理的待删除目录恢复的过程:
根据缓存第一目录中的内容在所述客户端显示全部剩余未处理的待删除目录;
从未处理的待删除目录中选取指定恢复的待删除目录;
将指定恢复的待删除目录从第二目录中移动回该指定恢复的待删除目录原本所处的位置;
去掉时间戳以对移动回原本所处位置的指定恢复的待删除目录进行重命名;
所述客户端控制元数据服务器集群将指定恢复的非待删除目录的元数据从相应的第一目录移回元数据原本所处位置。
第二方面,本申请提供一种实现目录删除方法的装置,包括:
第一目录创建模块,所述第一目录创建模块用于根据元数据服务器号在相应的元数据服务器创建相应的第一目录;
第二目录创建模块,所述第二目录创建模块用于在分布式文件系统的系统文件目录下创建第二目录;
删除请求接收模块,所述删除请求接收模块用于接收待删除目录的删除请求;
判断模块,所述判断模块判断所述删除请求接收模块确定的待删除目录是否为空目录;
第一删除模块,所述第一删除模块根据所述判断模块的判断结果直接删除空目录的元数据;
元数据服务器号采集模块,所述元数据服务器号采集模块根据所述判断模块的判断结果,采集非空目录的元数据服务器号并将元数据服务器号提供给所述第一次目录创建模块;
数据移动模块,所述数据移动模块根据判断模块的判断结果将待删除目录的数据移动到所述第二目录中;
元数据移动模块,所述元数据移动模块用于将待删除目录的元数据移动到相应的第一目录中;
第二删除模块,所述第二删除模块用于根据全部第一目录元数据索引到所述第二目录下的待删除目录,并逐步删除第二目录下的待删除目录。
更进一步地,还包括:恢复模块,所述恢复模块提供所述第二目录中未处理的待删除目录,用户选择指定恢复的待删除目录,将所述第二目录中的待删除目录的数据还原到原位置,将相应的第一目录中的元数据还原到原位置。
第三方面,本申请提供一种实现目录删除方法的存储介质,该实现目录删除方法的存储介质存储至少一条指令,执行所述指令实现所述的目录删除方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请在待删除目录的元数据所在的元数据服务器上创建相应的第一目录,在进行待删除目录的删除时,将待删除目录的元数据移动到相应的第一目录中,实现待删除目录的元数据必定在元数据服务器本地移动,分布式文件系统的元数据服务器集群中的元数据服务器之间无需因删除目录而产生元数据迁移,减少元数据服务器之间的内耗保证分布式文件系统的整体性能。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的目录删除方法的流程图;
图2为本申请实施例提供的创建第二目录删除的流程图;
图3为本申请实施例提供的将待删除目录的数据移动到第二目录并重命名的流程图;
图4为本实施例提供的创建第一目录并将待删除目录的元数据移动到第一目录的流程图;
图5为本申请实施例提供的恢复未处理待删除目录的流程图;
图6为本申请实施例提供的以待删除目录的容量为优先级属性优先处理小容量的待删除目录的流程图;
图7为本申请实施例提供的实现目录删除方法的装置的架构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
文件系统作为常用的存储系统,为用户提供文件存储和管理功能么,从而便捷了用于的文件操作,但是随着数据规模的扩大,单机资源难以满足多用户的存储需求,需要多机配合提供并发访问以满足用于的存储需求,分布式文件系统应运而生。
分布式文件系统因不限制物理硬件的位置、提供海量的存储空间、良好的数据访问性能、可靠、稳定、拓展性好等优势被应用在诸多领域。分布式文件系统的系统架构包括客户端集群、元数据服务器集群和数据服务器集群。元数据服务器集群负责管理分布式文件系统的元数据,如文件系统的目录结构、文件的基本属性、文件的操作权限、文件数据的索引和文件数据的布局信息,元数据服务器集群根据客户端集群发起的元数据操作请求执行相应的元数据管理;所述服务器集群负责存储文件系统中文件的数据内容,服务器集群根据客户端集群发起的数据操作请求执行相应的数据管理;客户端集群负责发起元数据操作请求和数据操作请求。
在分布式文件系统中,删除指定文件一般是将指定文件的元数据移动到隐藏文件中,使得指定文件的元数据对于用户不可见,再利用后台删除进程索引被删除文件的数据逐步删除。在进行元数据移动过程中,现有的分布式文件系统会发生元数据从一个元数据服务器迁移到另一个元数据服务器中的情况,使得删除过程消耗元数据服务器集群的IO资源,影响元数据服务器集群与客户端集群之间的通讯。
实施例1
参阅图1所示,本申请实施例提供一种目录删除方法,应用于分布式文件系统,包括:
S100,客户端接收待删除目录的删除请求,所述客户端根据待删除目录的删除请求确定待删除目录;
S200,所述客户端根据待删除目录的元数据中文件基本属性来确定待删除目录是否是空目录,所述客户端确定待删除目录为空目录时执行步骤S300,所述客户端确定待删除目录为非空目录时,执行步骤S400。
S300,所述客户端向元数据服务器集群发送删除待删除目录元数据的指令,元数据服务器集群直接删除待删除目录的元数据。
具体实施过程中,所述客户端向元数据服务器集群发送删除待删除目录元数据的操作指令,元数据服务器集群接收客户端发送的删除待删除目录元数据的操作指令后直接删除待删除目录的元数据。在删除待删除目录的元数据后,元数据服务器集群向所述客户端反馈待删除空目录的元数据删除成功的消息,所述客户端接收待删除空目录的元数据被删除成功的消息后向用户反馈删除成功。
S400,所述客户端将相应待删除目录的数据移动到第二目录中。
具体实施过程中,参阅图2和图3所示,所述客户端将相应待删除目录的数据移动到第二目录包括:
实现本申请目录删除方法的删除程序在初始化启动阶段,先检测分布式文件系统的系统文件目录下是否已存在所述第二目录,
如果不存在则在系统文件目录下创建所述第二目录。
当检测到待删除目录为非空目录时,将待删除目录的数据移动到第二目录中。
所述客户端对移动到所述第二目录中的待删除目录的数据进行重命名,重命名的名称包括:当前名称和时间戳。所述时间戳记录待删除目录的数据移动到所述第二目录所发生的时刻。
S500,在待删除目录的元数据所处的元数据服务器中创建第一目录,将待删除目录的元数据移动到所述第一目录。
具体实施过程中,参阅图4所示,所述客户端根据待删除目录的元数据确定待删除目录为非空目录时,执行的步骤S500包括:
所述客户端将向元数据服务器集群请求待删除目录的元数据服务器号;
具体的,待删除目录的元数据服务器号作为待删除目录的元数据一种保存在元数据中,元数据服务器号为元数据服务器集群中元数据服务器的唯一识别号,通过元数据服务器号可以确定待删除目录的元数据存储在哪一个具体元数据服务器中。
所述客户端根据获取的所述元数据服务器号在相应的元数据服务器中创建所述第一目录;
具体的,实现本申请目录删除方法的删除程序运行过程中,收到步骤S501的元数据服务器号后,再检测相应的元数据服务器中是否存在相应的第一目录,如果不存在,则在相应的元数据服务器中创建所述第一目录。
更进一步地,在客户端维护一个记录已创建相应第一目录的元数据服务器号的学习表,通过所述学习表来辅助实现检测相应的数据服务器中是否存在相应的第一目录的过程。当所述客户端在一个元数据服务器创建第一目录后,所述客户端在所述学习表中记录元数据服务器相应的元数据服务器号,客户端收到步骤S501的元数据服务器号后,将收到的元数据服务器号与所述学习表中内容进行匹配,如果能匹配到则说明相应的元数据服务器中存在相应的第一目录,如果不能匹配到则说明相应的元数据服务器中不存在第一目录,创建第一目录并更新所述学习表。
将待删除目录的元数据移动到所述第一目录中。
具体实施过程中,所述客户端向所述元数据服务器集群发送元数据移动指令,元数据移动指令作用对象为待删除目录的元数据,元数据移动指令的目标地址是相应元数据服务器的第一目录。
S600,客户端将全部元数据服务器的第一目录缓存在本地指定位置,根据所述指定位置待删除目录的元数据内容,索引到所述第二目录下的待删除目录的数据,并执行删除操作删除所述待删除目录的数据;
具体实施过程中,所述客户端通过轮询的方式将全部元数据服务器的第一目录缓存在本地指定位置。所述删除程序配置扫描删除进程,所述扫描删除进程配置受限的资源来执行,所述扫描删除进程通过扫描本地缓存的第一目录内容索引到所述第二目录下的待删除目录的数据,所述扫描删除进程按分配的受限的资源逐步将第二目录中的待删除目录删除,避免所述扫描删除进程占用过多的资源影响分布式文件系统的读写性能。所述扫描删除进程完成待删除目录的数据删除后,通知所述客户端,所述客户端删除本地指定位置以及元数据服务器第一目录下相应待删除目录的元数据。
实施例2
参阅图5所示,实施例2与实施例1相比区别在于,实施例2提供恢复未处理的待删除目录的过程:
根据缓存第一目录中的内容在所述客户端显示全部剩余未处理的待删除目录和处理中的待删除目录。未处理的待删除目录指未经扫描删除进程处理的待删除目录,未处理的待删除目录的数据在所述第二目录中是完整的;处理中的待删除目录指所述扫描删除进程正在处理的待删除目录,处理中的待删除目录的数据在所述第二目录中无法保证完整性。
用户按照需求从未处理的待删除目录中选取指定恢复的待删除目录;
将指定恢复的待删除目录从第二目录中移动回该指定恢复的待删除目录原本所处的位置;
去掉时间戳以对移动回原本所处位置的指定恢复的待删除目录进行重命名;
所述客户端控制元数据服务器集群将指定恢复的非待删除目录的元数据从相应的第一目录移回元数据原本所处位置,使得指定恢复的待删除目录的元数据能够对用户可见。
实施例3
实施例3与实施例1区别在于,为待删除目录设定一个优先级属性,根据待删除目录的优先级属性控制删除待删除目录的执行顺序。具体的,参阅图6所示,本实施例中优先级属性由待删除目录容量决定,待删除目录容量小于设定的容量阈值认为优先级属性的优先级别高,待删除目录容量大于设定的容量阈值认为优先级属性的优先级别低,具体方式如下:在每个元数据服务器创建两个第一目录:第一目录A和第一目录B。
预先设定一个容量阈值;
客户端根据待删除目录的元数据获取待删除目录的容量;
所述客户端判断待删除目录的容量是否小于所述容量阈值;
是则将待删除目录的元数据移动到第一目录A;
否则将待删除目录的元数据数据移动到第一目录B;
扫描删除进程优先扫描第一目录A的缓存内容,再扫描第一目录B的缓存内容。
本实施例能够优先将小容量的待删除目录快速删除。
实施例4
本实施例提供一种实现目录删除方法的装置。参阅图7所示,所述实现目录删除方法的装置包括:
第一目录创建模块,所述第一目录创建模块用于根据元数据服务器号在相应的元数据服务器创建相应的第一目录;具体实施过程中,所述第一目录创建模块维护一个学习表,该学习表记录第一目录创建模块已创建相应第一目录的元数据服务器号;所述第一目录创建模块接收元数据服务器号采集模块采集的元数据服务器号后,将元数据服务器号与所述学习表匹配,如果不能匹配到,则根据元数据服务器号在相应的元数据服务器创建第一目录,在所述学习表中添加相应的元数据服务器号,如果能匹配到,则说明相应的元数据服务器中存在第一目录。
第二目录创建模块,所述第二目录创建模块用于在分布式文件系统的系统文件目录下创建第二目录;所述第二目录创建模块在初始化时检测系统文件目录下是否存在第二目录,如果不存在则创建第二目录里。
删除请求接收模块,所述删除请求接收模块用于接收待删除目录的删除请求;
判断模块,所述判断模块判断所述删除请求接收模块确定的待删除目录是否为空目录;
第一删除模块,所述第一删除模块根据所述判断模块的判断结果直接删除空目录的元数据;当所述判断模块判断待删除目录为空目录时,所述第一删除模块直接向元数据服务器集群发送待删除目录元数据的删除指令。
数据移动模块,所述数据移动模块根据判断模块的判断结果将待删除目录的数据移动到所述第二目录中;所述判断模块判断待删除目录为非空目录时,所述数据移动模块将待删除目录的数据移动到所述第二目录中,
元数据服务器号采集模块,所述元数据服务器号采集模块根据所述判断模块的判断结果,采集非空目录的元数据服务器号并将元数据服务器号提供给所述第一次目录创建模块;当所述判断模块判断待删除目录为非空目录时,所述元数据服务器号采集模块向元数据服务器集群发送元数据服务器号请求,采集待删除目录的元数据服务器号,发送给所述第一目录创建模块。
元数据移动模块,所述元数据移动模块用于在相应的第一目录存在时,将待删除目录的元数据移动到相应的第一目录中;所述第一目录创建模块在确定相应的第一目录存在后,通知所述元数据移动模块,所述元数据移动模块向元数据服务器集群发送指令将待删除目录的元数据移动到相应的第一目录中。
第二删除模块,所述第二删除模块用于根据全部第一目录元数据索引到所述第二目录下的待删除目录,并逐步删除第二目录下的待删除目录。
具体实施过程中,所述实现目录删除方法的装置还包括:恢复模块,所述恢复模块提供所述第二目录中未处理的待删除目录,用户选择指定恢复的待删除目录,将所述第二目录中的待删除目录的数据还原到原位置,将相应的第一目录中的元数据还原到原位置。
实施例5
本实施例提供一种实现目录删除方法的存储介质,该实现目录删除方法的存储介质存储至少一条指令,执行所述指令实现如权利要求所述的目录删除方法。
本申请在待删除目录的元数据所在的元数据服务器上创建相应的第一目录,在进行待删除目录的删除时,将待删除目录的元数据移动到相应的第一目录中,实现待删除目录的元数据必定在元数据服务器本地移动,分布式文件系统的元数据服务器集群中的元数据服务器之间无需因删除目录而产生元数据迁移,减少元数据服务器之间的内耗保证分布式文件系统的整体性能。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种目录删除方法,应用于分布式文件系统,其特征在于,包括:
在系统文件目录下创建第二目录,将待删除目录的数据移动到所述第二目录;
在待删除目录的元数据所处的元数据服务器中创建第一目录,将待删除目录的元数据移动到所述第一目录;
客户端将全部元数据服务器的第一目录缓存在本地指定位置,
根据所述指定位置待删除目录的元数据内容,索引到所述第二目录下的待删除目录的数据,并执行删除操作删除所述待删除目录的数据;
待删除目录的数据删除后,所述客户端删除本地指定位置以及元数据服务器第一目录下相应待删除目录的元数据。
2.根据权利要求1所述目录删除方法,其特征在于,分布式文件系统的客户端在系统文件目录下创建用于集中存放待删除目录的第二目录:
所述客户端先检测分布式文件系统的系统文件目录下是否已存在所述第二目录,
如果不存在则在系统文件目录下创建所述第二目录。
3.根据权利要求1所述目录删除方法,其特征在于,将待删除目录的数据移动到所述第二目录包括:
所述客户端接收待删除目录的删除请求,
所述客户端根据待删除目录的元数据确定待删除目录是否为空目录,是则所述客户端向元数据服务器集群发送删除指令,直接删除待删除目录的元数据;
否则所述客户端将相应待删除目录的数据移动到第二目录。
4.根据权利要求3所述目录删除方法,其特征在于,所述客户端对移动到所述第二目录中的待删除目录的数据进行重命名,重命名的名称包括:当前名称和时间戳。
5.根据权利要求1所述目录删除方法,其特征在于,在待删除目录的元数据所处的元数据服务器中创建第一目录,将待删除目录的元数据移动到所述第一目录包括:
所述客户端根据待删除目录的元数据确定待删除目录为非空目录时,所述客户端将向元数据服务器集群请求待删除目录的元数据服务器号;
所述元数据服务器集群将所述元数据服务器号反馈给所述客户端;
所述客户端根据获取的所述元数据服务器号在相应的元数据服务器中创建所述第一目录;
将待删除目录的元数据移动到所述第一目录中。
6.根据权利要求1所述目录删除方法,其特征在于,为待删除目录设定一个优先级属性,根据待删除目录的优先级属性控制删除待删除目录的执行顺序。
7.根据权利要求1所述目录删除方法,其特征在于,还包括将第一目录中未处理的待删除目录恢复的过程:
根据缓存第一目录中的内容在所述客户端显示全部剩余未处理的待删除目录;
从未处理的待删除目录中选取指定恢复的待删除目录;
将指定恢复的待删除目录从第二目录中移动回该指定恢复的待删除目录原本所处的位置;
去掉时间戳以对移动回原本所处位置的指定恢复的待删除目录进行重命名;
所述客户端控制元数据服务器集群将指定恢复的非待删除目录的元数据从相应的第一目录移回元数据原本所处位置。
8.一种实现目录删除方法的装置,其特征在于,包括:
第一目录创建模块,所述第一目录创建模块用于根据元数据服务器号在相应的元数据服务器创建相应的第一目录;
第二目录创建模块,所述第二目录创建模块用于在分布式文件系统的系统文件目录下创建第二目录;
删除请求接收模块,所述删除请求接收模块用于接收待删除目录的删除请求;
判断模块,所述判断模块判断所述删除请求接收模块确定的待删除目录是否为空目录;
第一删除模块,所述第一删除模块根据所述判断模块的判断结果直接删除空目录的元数据;
元数据服务器号采集模块,所述元数据服务器号采集模块根据所述判断模块的判断结果,采集非空目录的元数据服务器号并将元数据服务器号提供给所述第一次目录创建模块;
数据移动模块,所述数据移动模块根据判断模块的判断结果将待删除目录的数据移动到所述第二目录中;
元数据移动模块,所述元数据移动模块用于将待删除目录的元数据移动到相应的第一目录中;
第二删除模块,所述第二删除模块用于根据全部第一目录元数据索引到所述第二目录下的待删除目录,并逐步删除第二目录下的待删除目录。
9.根据权利要求8所述实现目录删除方法的装置,其特征在于,还包括:恢复模块,所述恢复模块提供所述第二目录中未处理的待删除目录,用户选择指定恢复的待删除目录,将所述第二目录中的待删除目录的数据还原到原位置,将相应的第一目录中的元数据还原到原位置。
10.一种实现目录删除方法的存储介质,其特征在于,该实现目录删除方法的存储介质存储至少一条指令,执行所述指令实现如权利要求1-7任一所述的目录删除方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110742686.1A CN113590546A (zh) | 2021-06-30 | 2021-06-30 | 一种目录删除方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110742686.1A CN113590546A (zh) | 2021-06-30 | 2021-06-30 | 一种目录删除方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113590546A true CN113590546A (zh) | 2021-11-02 |
Family
ID=78245521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110742686.1A Pending CN113590546A (zh) | 2021-06-30 | 2021-06-30 | 一种目录删除方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113590546A (zh) |
-
2021
- 2021-06-30 CN CN202110742686.1A patent/CN113590546A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11698885B2 (en) | System and method for content synchronization | |
US7860907B2 (en) | Data processing | |
US8904137B1 (en) | Deduplication system space recycling through inode manipulation | |
US7765189B2 (en) | Data migration apparatus, method, and program for data stored in a distributed manner | |
CN102667772B (zh) | 文件级分级存储管理系统、方法和设备 | |
CN109739815B (zh) | 文件处理方法、系统、装置、设备及存储介质 | |
US20060041606A1 (en) | Indexing system for a computer file store | |
US20120084272A1 (en) | File system support for inert files | |
US8095678B2 (en) | Data processing | |
US8090925B2 (en) | Storing data streams in memory based on upper and lower stream size thresholds | |
US9020994B1 (en) | Client-based migrating of data from content-addressed storage to file-based storage | |
KR20090063733A (ko) | 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 | |
US9886446B1 (en) | Inverted index for text searching within deduplication backup system | |
CN114610680A (zh) | 分布式文件系统元数据管理方法、装置、设备及存储介质 | |
US8176087B2 (en) | Data processing | |
CN112334891B (zh) | 用于搜索服务器的集中式存储 | |
US10387384B1 (en) | Method and system for semantic metadata compression in a two-tier storage system using copy-on-write | |
EP2402861A1 (en) | Storage system | |
CN113590546A (zh) | 一种目录删除方法、装置及存储介质 | |
US8886656B2 (en) | Data processing | |
US8943019B1 (en) | Lookup optimization during online file system migration | |
US10628391B1 (en) | Method and system for reducing metadata overhead in a two-tier storage architecture | |
CN113805864A (zh) | 一种项目工程的生成方法、装置、电子设备及存储介质 | |
CN109241011B (zh) | 一种虚拟机文件处理方法及装置 | |
US8290993B2 (en) | Data processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |