CN110941591A

CN110941591A - 一种文件删除方法、装置、设备及可读存储介质

Info

Publication number: CN110941591A
Application number: CN201911157780.XA
Authority: CN
Inventors: 张其万; 孟祥瑞
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2019-11-22
Filing date: 2019-11-22
Publication date: 2020-03-31

Abstract

本发明公开了一种文件删除方法、装置、设备及可读存储介质，该方法包括以下步骤：利用目录名，获取目标文件所属目标目录的元数据信息；利用元数据信息回收目标文件的权限，并释放目标文件的锁；为目标目录上批量删除锁，并依次删除目标文件和目标目录；在目标目录删除后，释放批量删除锁。可见，在本方法中，由于对目标文件进行了权限回收和锁释放，便不会出现长期等待的情况，可快速完成文件删除，提高响应效率，且删除时间较短，由于文件删除而占用集群资源的时间大大缩短，可降低对客户业务正常运行所带来的影响。

Description

一种文件删除方法、装置、设备及可读存储介质

技术领域

本发明涉及存储技术领域，特别是涉及一种文件删除方法、装置、设备及可读存储介质。

背景技术

分布式文件系统可以存储大量的文件，在某些应用场景下，客户可能会在某个目录下存储上百万个文件甚至更多的文件。随着数据池水位(即数据量)的增加，需要删除一些过期的文件，降低数据池水位，以便客户更好的使用。

目前，删除的某个目录下大批量文件的时候，需要很长一段时间，而且删除过程中会占用集群资源，包括cpu、网络、内存等，此时会影响客户业务正常运行。

综上所述，如何有效地解决文件删除影响客户业务等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种文件删除方法、装置、设备及可读存储介质，以在进行文件删除时，减少影响客户业务的正常运行。

为解决上述技术问题，本发明提供如下技术方案：

一种文件删除方法，包括：

利用目录名，获取目标文件所属目标目录的元数据信息；

利用所述元数据信息回收所述目标文件的权限，并释放所述目标文件的锁；

为所述目标目录上批量删除锁，并依次删除所述目标文件和所述目标目录；

在所述目标目录删除后，释放所述批量删除锁。

优选地，在为所述目标目录上批量删除锁之前，还包括：

在所述目标目录中设置所述目标文件不可见。

优选地，在所述目标目录中设置所述目标文件不可见之后，在为所述目标目录上批量删除锁之前，还包括：

设置删除流控，以控制后续执行步骤的执行时机或执行速度。

优选地，所述依次删除所述目标文件和所述目标目录，包括：

删除所述目标文件；

在成功删除所述目标文件后，删除所述目标目录。

优选地，删除所述目标文件，包括：

获取所述目标文件的索引节点号及目录项；

在确定删除所述目标文件合法后，利用所述索引节点号将所述目标文件放入游离目录；

删除所述目录项，并在日志中记录本次删除操作。

优选地，删除所述目标目录，包括：

删除所述目标目录，并在所述目标目录的上层目录中，去除所述元数据信息。

优选地，所述元数据信息包括所述目标文件的索引节点号，利用所述元数据信息回收所述目标文件的权限，包括：

利用所述索引节点号向客户端发送消息，并执行权限回收操作，以释放所述目标文件的锁。

一种文件删除装置，包括：

元数据信息获取模块，用于利用目录名，获取目标文件所属目标目录的元数据信息；

权限回收模块，用于利用所述元数据信息回收所述目标文件的权限，并释放所述目标文件的锁；

文件删除模块，用于为所述目标目录上批量删除锁，并依次删除所述目标文件和所述目标目录；

锁释放模块，用于在所述目标目录删除后，释放所述批量删除锁。

一种文件删除设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述文件删除方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述文件删除方法的步骤。

应用本发明实施例所提供的方法，利用目录名，获取目标文件所属目标目录的元数据信息；利用元数据信息回收目标文件的权限，并释放目标文件的锁；为目标目录上批量删除锁，并依次删除目标文件和目标目录；在目标目录删除后，释放批量删除锁。

考虑到现有技术中，当有其他客户端正在读写目录下的某个文件时，此时直接删除该目录下的文件会出现删除锁加不上，导致长时间卡住，并没有进行实际文件删除操作，严重影响客户的使用体验。基于此，在本方法中，首先回收待删除的目标文件的权限，释放掉目标文件的锁，然后便可顺利的为目标文件所属目标目录成功添加删除锁。然后依次删除目标文件和目标目录，在目标目录删除后，便可将批量删除锁释放，如此，便完成了文件的快速删除。可见，在本方法中，由于对目标文件进行了权限回收和锁释放，便不会出现长期等待的情况，可快速完成文件删除，提高响应效率，且删除时间较短，由于文件删除而占用集群资源的时间大大缩短，可降低对客户业务正常运行所带来的影响。

相应地，本发明实施例还提供了与上述文件删除方法相对应的文件删除装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种文件删除方法的实施流程图；

图2为本发明实施例中一种文件删除装置的结构示意图；

图3为本发明实施例中一种文件删除设备的结构示意图；

图4为本发明实施例中一种文件删除设备的具体结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

请参考图1，图1为本发明实施例中一种文件删除方法的流程图，该方法可应用于分布式系统中，该方法包括以下步骤：

S101、利用目录名，获取目标文件所属目标目录的元数据信息。

在本实施例中，目标文件即待删除的同一个目录下的一批文件的统称，对于目标文件的具体数目可跟根据实际应用场景而定，即当目标目录下仅有一个文件时，则目标文件为一个；当目标目录下有批量文件时，则目标文件为该目标目录下的全部文件。

对于目标文件具体是何种文件，可根据具体的应用场景而定。例如，当应用场景为视频监控场景，则目标文件可为监控视频文件；当应用场景为大数据场景，则目标文件可以为海量数据文件。

例如，当例如，可通过新增命令：icfs daemon mds.num delete dirname，其中dirname为目录的名字。实现指定某目录下的全部文件为目标文件，即待删除文件。

通过目录名(dirname)得到目标目录的元数据信息，其中，元数据信息主要包括omap(扩展属性)对象，omap对象可具体包括目标目录下目标文件的inode号(索引节点号)。

S102、利用元数据信息回收目标文件的权限，并释放目标文件的锁。

需要说明的是，当有其他客户端正在读写目标目录下的某个文件时，直接删除目标文件，会出现加删除锁加不上，进而导致长时间卡住，而没有实际删除，严重影响客户的使用体验。如此，便可能需要很长一段时间才能删除完成。在本实施例中，通过MDS(MetaData Controller，元数据服务器)强制回收目录和目录下目标文件的cap权限，便可顺利加删除锁，实现立即执行删除操作，提高效率。

具体的，可利用索引节点号向客户端发送消息，并执行权限回收操作，以释放目标文件的锁。即，可根据各个目标文件的inode号等信息，依次向客户端发送消息，执行cap_revoke(即cap回收操作)操作以回收目标文件的权限，等待目标文件的锁得到释放。

优选地，为了避免在回收目标文件的权限以及释放锁时，有其他客户端请求访问目标文件，从而影响删除进程，在执行步骤S103之前，即在为目标目录上批量删除锁之前，还可以在目标目录中设置目标文件不可见。将目标文件设置为不可见之后，客户端即无法看到该目标文件，用户感受即为目标文件已被删除。如此，便可防止其他客户端对目录进行读写，影响目录下文件cap权限回收，从而影响删除进度。

优选地，由于游离目录下的文件删除为通常为异步处理，即待删除文件的元数据还存储在MDS的本地缓存中，文件删除速度依赖于OSD(Object-based Storage Device，对象存储服务器)的删除速度，若MDS短时间内删除大量文件，会导致这些文件元数据占用MDS缓存空间较大，甚至超过MDS本地缓存空间的大小，严重影响分布式文件系统其它业务的正常运行。因此，在目标目录中设置目标文件不可见之后，在为目标目录上批量删除锁之前，还可以设置删除流控，以控制后续执行步骤的执行时机或执行速度。即，设置目标文件为不可见之后，可以设置删除流控，可选择慢慢删除或在业务量小的时候删除。防止大量删除，影响正常的业务使用。

此外，设置为不可见之后，由于用户无法再看到目标文件，用户便会感觉目标文件被立即删除，可提高用户满意度和市场竞争力。

S103、为目标目录上批量删除锁，并依次删除目标文件和目标目录。

为防止其他客户端访问目标目录下的目标文件，影响删除进度。此时可为目标目录上批量删除锁，以防止此时其他客户端访问目标文件。

在删除分布式文件系统的文件时，通常利用MDS将待删除文件的元数据挂载在扁平化的游离目录下，然后向客户端返回文件删除成功的信息。然后，游离目录下的文件在达到清除条件时进行清除，如此便可实现文件删除。即添加了批量删除锁之后，便可依次删除目标文件和目标目录。具体实现过程，包括：

步骤一、删除目标文件；

步骤二、在成功删除目标文件后，删除目标目录。

其中，删除目标文件，即将目标文件放入游离目录中。具体实现过程，包括：

步骤1、获取目标文件的索引节点号及目录项；

步骤2、在确定删除目标文件合法后，利用索引节点号将目标文件放入游离目录；

步骤3、删除目录项，并在日志中记录本次删除操作。

为便于描述，下面将上面3个步骤结合起来进行说明。

在实际应用中，可根据已有接口mdcache->path_traverse，获取待删除文件，即目标文件的CInode(索引节点号)及CDentry(目录项)等。其中，path_traverse功能定义：负责查找给定的目录项(以及确定目录项是否存在，目录项即待删除的文件)，并将这些节点加载到内存中使其在当前MDS上可用。在判断请求删除目标文件的删除请求是否合法之后，如果合法则将待删除的目标文件放入游离目录。如果不合法，则停止后续删除操作，当然还可对已执行操作进行回滚。对于如何确定删除目标文件是否合法，可针对删除目标文件的请求发出这进行权限验证，在验证通过时，即视为合法。然后，调用_unlink_local(即执行本地的删除操作)，删除目标文件对象CDentry*dn。并将EUpdate(即目标文件删除)事件提交到journal(日志)。

优选地，为避免产生多余的垃圾数据以及重复利用目录的索引节点号，删除目标目录，可具体包括：删除目标目录，并在目标目录的上层目录中，去除元数据信息。即，目录和目录下的文件删除之后，需要把目录的元数据信息从上层目录omap对象中去除，否则会产生多余的垃圾数据，而且目录的inode号将不能够继续使用。

S104、在目标目录删除后，释放批量删除锁。

在删除目标目录之后，便可将批量删除锁释放掉。

实施例二：

相应于上面的方法实施例，本发明实施例还提供了一种文件删除装置，下文描述的文件删除装置与上文描述的文件删除方法可相互对应参照。

参见图2所示，该装置包括以下模块：

元数据信息获取模块101，用于利用目录名，获取目标文件所属目标目录的元数据信息；

权限回收模块102，用于利用元数据信息回收目标文件的权限，并释放目标文件的锁；

文件删除模块103，用于为目标目录上批量删除锁，并依次删除目标文件和目标目录；

锁释放模块104，用于在目标目录删除后，释放批量删除锁。

应用本发明实施例所提供的装置，利用目录名，获取目标文件所属目标目录的元数据信息；利用元数据信息回收目标文件的权限，并释放目标文件的锁；为目标目录上批量删除锁，并依次删除目标文件和目标目录；在目标目录删除后，释放批量删除锁。

考虑到现有技术中，当有其他客户端正在读写目录下的某个文件时，此时直接删除该目录下的文件会出现删除锁加不上，导致长时间卡住，并没有进行实际文件删除操作，严重影响客户的使用体验。基于此，在本装置中，首先回收待删除的目标文件的权限，释放掉目标文件的锁，然后便可顺利的为目标文件所属目标目录成功添加删除锁。然后依次删除目标文件和目标目录，在目标目录删除后，便可将批量删除锁释放，如此，便完成了文件的快速删除。可见，在本装置中，由于对目标文件进行了权限回收和锁释放，便不会出现长期等待的情况，可快速完成文件删除，提高响应效率，且删除时间较短，由于文件删除而占用集群资源的时间大大缩短，可降低对客户业务正常运行所带来的影响。

在本发明的一种具体实施方式中，还包括：

文件设置模块，用于在为目标目录上批量删除锁之前，在目标目录中设置目标文件不可见。

在本发明的一种具体实施方式中，还包括：

删除流控模块，用于在目标目录中设置目标文件不可见之后，在为目标目录上批量删除锁之前，设置删除流控，以控制后续执行步骤的执行时机或执行速度。

在本发明的一种具体实施方式中，文件删除模块103，包括：

文件删除单元，用于删除目标文件；

目录删除单元，用于在成功删除目标文件后，删除目标目录。

在本发明的一种具体实施方式中，文件删除单元，具体用于获取目标文件的索引节点号及目录项；在确定删除目标文件合法后，利用索引节点号将目标文件放入游离目录；删除目录项，并在日志中记录本次删除操作。

在本发明的一种具体实施方式中，目录删除单元，具体用于删除目标目录，并在目标目录的上层目录中，去除元数据信息。

在本发明的一种具体实施方式中，权限回收模块102，具体用于利用索引节点号向客户端发送消息，并执行权限回收操作，以释放目标文件的锁。

实施例三：

相应于上面的方法实施例，本发明实施例还提供了一种文件删除设备，下文描述的一种文件删除设备与上文描述的一种文件删除方法可相互对应参照。

参见图3所示，该文件删除设备包括：

存储器D1，用于存储计算机程序；

处理器D2，用于执行计算机程序时实现上述方法实施例的文件删除方法的步骤。

具体的，请参考图4，图4为本实施例提供的一种文件删除设备的具体结构示意图，该文件删除设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在文件删除设备301上执行存储介质330中的一系列指令操作。

文件删除设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。例如，Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。

上文所描述的文件删除方法中的步骤可以由文件删除设备的结构实现。

实施例四：

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种文件删除方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的文件删除方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims

1.一种文件删除方法，其特征在于，包括：

利用目录名，获取目标文件所属目标目录的元数据信息；

在所述目标目录删除后，释放所述批量删除锁。

2.根据权利要求1所述的文件删除方法，其特征在于，在为所述目标目录上批量删除锁之前，还包括：

在所述目标目录中设置所述目标文件不可见。

3.根据权利要求2所述的文件删除方法，其特征在于，在所述目标目录中设置所述目标文件不可见之后，在为所述目标目录上批量删除锁之前，还包括：

4.根据权利要求1所述的文件删除方法，其特征在于，所述依次删除所述目标文件和所述目标目录，包括：

删除所述目标文件；

在成功删除所述目标文件后，删除所述目标目录。

5.根据权利要求4所述的文件删除方法，其特征在于，删除所述目标文件，包括：

获取所述目标文件的索引节点号及目录项；

删除所述目录项，并在日志中记录本次删除操作。

6.根据权利要求4所述的文件删除方法，其特征在于，删除所述目标目录，包括：

7.根据权利要求1至6任一项所述的文件删除方法，其特征在于，所述元数据信息包括所述目标文件的索引节点号，利用所述元数据信息回收所述目标文件的权限，包括：

8.一种文件删除装置，其特征在于，包括：

9.一种文件删除设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述文件删除方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述文件删除方法的步骤。