CN109325001A

CN109325001A - 基于元数据服务器删除小文件的方法、装置及设备

Info

Publication number: CN109325001A
Application number: CN201810947391.6A
Authority: CN
Inventors: 梁明远; 李�杰
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2018-08-20
Filing date: 2018-08-20
Publication date: 2019-02-12
Anticipated expiration: 2038-08-20
Also published as: CN109325001B

Abstract

本发明公开了一种基于元数据服务器删除小文件的方法，能够在元数据服务器删除小文件的过程中，计算缓冲中待删除的小文件的缓存数量，并在缓存数量小于第一阈值的时候，确定尚未缓存的待删除的且小文件数量小于第二阈值的文件目录，并将该文件目录下的小文件导入缓存中。可见，该方法在删除小文件的时候，先找到小文件数量小于第二阈值的文件目录，再将其导入缓存中以进行删除，避免了一次性删除大量小文件造成元数据服务器压力过大的问题。另外，导入缓存是在缓存中小文件数量小于第一阈值时进行的，一定程度上保证了删除效率。此外，本发明还提供了一种基于元数据服务器删除小文件的装置、设备及计算机可读存储介质，其作用与上述方法相对应。

Description

基于元数据服务器删除小文件的方法、装置及设备

技术领域

本发明涉及计算机领域，特别涉及一种基于元数据服务器删除小文件的方法、装置、设备及计算机可读存储介质。

背景技术

存储中的小文件应用场景，每天会生成上千万文件。虽然都是小文件，但因为数量众多，如果不加以控制，依然会占满磁盘，所以通常都会存储固定天数的数据，比如180天，早于这个时间的数据便可以删除，或者是存储集群管理者根据需要决定删除部门目录或文件。

但是，如果直接rm命令删除某天或者某部分目录的数据，一次性删除过多的文件，会导致元数据集群压力过大，最终压垮存储集群，引起元数据服务器切换，以致不能正常提供服务。

发明内容

本发明的目的是提供一种基于元数据服务器删除小文件的方法、装置、设备及计算机可读存储介质，用以解决一次性删除大量小文件导致元数据服务器压力过大，无法正常服务的问题。

为解决上述技术问题，本发明提供了一种基于元数据服务器删除小文件的方法，包括：

在元数据服务器删除小文件的过程中，计算缓存中待删除的小文件的缓存数量；

判断所述缓存数量是否小于第一阈值；

若所述缓存数量小于第一阈值，则确定尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录；

将所述文件目录下的小文件导入所述缓存中，以便于所述元数据服务器删除所述文件目录下的小文件。

其中，所述尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录为根据用户下发的删除指令确定的文件目录，和/或根据所述元数据服务器的预设删除策略确定的文件目录。

其中，所述确定尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录包括：

判断是否存在尚未缓存且待删除的小文件；

若存在所述尚未缓存且待删除的小文件，则确定所述小文件所在的文件目录，所述文件目录包括多个层级的文件目录；

依次计算层级从高到低的文件目录下的小文件的数量，直至所述小文件的数量小于第二阈值；

确定所述小文件的数量小于所述第二阈值的文件目录。

其中，在所述判断所述缓存数量是否小于第一阈值之后，还包括：

若所述缓存数量不小于第一阈值，则在经过预设时间段之后，再次计算所述缓存中待删除的小文件的缓存数量，其中，所述预设时间段为根据所述缓存数量确定的。

本发明还提供了一种基于元数据服务器删除小文件的装置，包括：

缓存数量计算模块：用于在元数据服务器删除小文件的过程中，计算缓存中待删除的小文件的缓存数量；

缓存数量判断模块：用于判断所述缓存数量是否小于第一阈值；

文件目录确定模块：用于若所述缓存数量小于第一阈值，则确定尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录；

小文件导入模块：用于将所述文件目录下的小文件导入所述缓存中，以便于所述元数据服务器删除所述文件目录下的小文件。

其中，所述文件目录确定模块包括：

判断单元：用于判断是否存在尚未缓存且待删除的小文件；

第一文件目录确定单元：用于若存在所述尚未缓存且待删除的小文件，则确定所述小文件所在的文件目录，所述文件目录包括多个层级的文件目录；

小文件数量计算单元：用于依次计算层级从高到低的文件目录下的小文件的数量，直至所述小文件的数量小于第二阈值；

第二文件目录确定单元：用于确定所述小文件的数量小于第二阈值的文件目录。

其中，所述一种基于元数据服务器删除小文件的装置还包括：

预设时间段等待模块：用于若所述缓存数量不小于第一阈值，则在经过预设时间段之后，再次计算所述缓存中待删除的小文件的缓存数量，其中，所述预设时间段为根据所述缓存数量确定的。

此外，本发明还提供了一种基于元数据服务器删除小文件的设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如上所述的一种基于元数据服务器删除小文件的方法的步骤。

最后，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种基于元数据服务器删除小文件的方法的步骤。

本发明所提供的一种基于元数据服务器删除小文件的方法，能够在元数据服务器删除小文件的过程中，计算缓冲中待删除的小文件的缓存数量，并在缓存数量小于第一阈值的时候，确定尚未缓存的待删除的且小文件数量小于第二阈值的文件目录，并将该文件目录下的小文件导入缓存中，以便于元数据服务器删除。可见，该方法在删除小文件的时候，并非直接将所有待删除小文件加载到缓存中进行删除，由于删除是对整个文件目录进行删除，因此本发明先找到所包含的小文件数量小于第二阈值的文件目录，然后再将其导入缓存中以进行删除，避免了一次性删除大量小文件造成元数据服务器压力过大的问题。另外，导入缓存是在缓存中小文件数量小于第一阈值时进行的，一定程度上保证了删除小文件的效率。

此外，本发明还提供了一种基于元数据服务器删除小文件的装置、设备及计算机可读存储介质，其作用与上述方法相对应，这里不再赘述。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于元数据服务器删除小文件的方法实施例的实现流程图；

图2为本发明提供的一种基于元数据服务器删除小文件的方法实施例中步骤S103的实现流程图；

图3为本发明提供的一种基于元数据服务器删除小文件的装置实施例的结构框图。

具体实施方式

本发明的核心是提供一种基于元数据服务器删除小文件的方法、装置、设备及计算机可读存储介质，解决了一次性删除大量小文件导致元数据服务器压力过大的问题，同时还保证了一定的删除效率。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明主要针对删除海量小文件，现有的元数据服务器并未对一次性删除文件的数量进行限制，导致元数据服务器压力较大，甚至发生切换，中断删除过程，严重的时候，还可能导致元数据服务器崩溃。基于此，本发明提供了一种基于元数据服务器删除小文件的方法，该方法考虑到了要删除的目录的层次结构以及每层目录下文件量级，对元数据服务器一次删除的小文件数量进行了限制。

下面对本发明提供的一种基于元数据服务器删除小文件的方法实施例进行介绍，参见图1，该实施例具体包括：

步骤S101：在元数据服务器删除小文件的过程中，计算缓存中待删除的小文件的缓存数量。

在互联网(尤其是移动互联网)、物联网、云计算、大数据等高速发展的大背景下，数据呈现爆炸式地增长。海量小文件的应用在生活中已越来越常见，社会化网络、移动通信、网络视频音频、电子商务、传感器网络、科学实验等各种应用产生的数据，不仅存储容量巨大，而且数据类型繁多、数据大小变化幅度大、流动快等显著特点，往往能够产生千万级、亿级甚至十亿、百亿级的海量小文件。

如何有效的管理这些小文件十分具有研究意义，本发明主要针对海量小文件的删除过程，通常我们认为大小在1MB以内的文件称为小文件，百万级数量及以上称为海量文件，由此量化定义海量小文件。

元数据服务器在删除小文件的过程中，需要先将小文件加载到缓存中，步骤S101中缓存中的小文件指的就是即将被删除的小文件。

步骤S102：判断所述缓存数量是否小于第一阈值。

在计算得到缓存中的小文件数量，即上述缓存数量之后，需要判断上述缓存数量与第一阈值的大小关系。这里的第一阈值指的是预先设置的、可依据实际情况进行动态调整的阈值。

第一阈值可以为0，这种情况下，就相当于每次都需要等缓存中的小文件全部删除完成之后，才可以将其他待删除的小文件导入缓存中。虽然这种原理简单，但是一定程度上浪费了元数据服务器的资源，导致删除效率较低。

第一阈值可以根据元数据服务器的最大换存量来进行设置，例如，假设当前元数据服务器所能缓存的小文件的最大数量为300万，那么，这里我们可以将第一阈值设置为100万，当然这里100万只是一个例子，并非限定必须如此。在这种情况下，每当缓存中的小文件数量小于第一阈值将考虑向缓存中导入其他待删除的小文件，充分利用了元数据服务器的计算资源，保证了删除效率。

值得一提的是，为了提高灵活性，上述第一阈值不一定是一个固定的数值，也可以是一个范围。对于这种情况，这里不再展开介绍。

在判断之后，可能出现两种情况，一种是如步骤S103，另一种就是所述缓存数量不小于第一阈值。在第二种情况时，可以在经过预设时间段之后，再次计算所述缓存中待删除的小文件的缓存数量，值得一提的是，这里的预设时间段为根据所述缓存数量确定的，同时还可能考虑到当前元数据服务器的删除速率等问题。

步骤S103：若所述缓存数量小于第一阈值，则确定尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录。

本实施例中，所述尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录为根据用户下发的删除指令确定的文件目录，或者是根据所述元数据服务器的预设删除策略确定的文件目录，或者是综合上述两种方式确定的待删除的小文件。

具体的，参见图2，步骤S103具体包括：

步骤S1031：判断是否存在尚未缓存且待删除的小文件。

步骤S1032：若存在所述尚未缓存且待删除的小文件，则确定所述小文件所在的文件目录，所述文件目录包括多个层级的文件目录。

步骤S1033：依次计算层级从高到低的文件目录下的小文件的数量，直至所述小文件的数量小于第二阈值。

步骤S1034：确定所述小文件的数量小于所述第二阈值的文件目录。

值得一提的是，考虑到同一层级的文件目录多包含的小文件数量一般数量级相差不多，因此，在将步骤S1034确定的文件目录导入缓存之后，再次需要确定满足上述要求的文件目录时，可以优先考虑与上述文件目录在同一层级的文件目录，通过这种方式，提高寻找满足上述要求的文件目录的效率。

步骤S104：将所述文件目录下的小文件导入所述缓存中，以便于所述元数据服务器删除所述文件目录下的小文件。

步骤S104之后，重复步骤S101到步骤S104，直至所述待删除的小文件删除完毕即可。

本实施例所提供一种基于元数据服务器删除小文件的方法，能够在元数据服务器删除小文件的过程中，计算缓冲中待删除的小文件的缓存数量，并在缓存数量小于第一阈值的时候，确定尚未缓存的待删除的且小文件数量小于第二阈值的文件目录，并将该文件目录下的小文件导入缓存中，以便于元数据服务器删除。可见，该方法在删除小文件的时候，并非直接将所有待删除小文件加载到缓存中进行删除，由于删除是对整个文件目录进行删除，因此本发明先找到所包含的小文件数量小于第二阈值的文件目录，然后再将其导入缓存中以进行删除，避免了一次性删除大量小文件造成元数据服务器压力过大的问题，保证了元数据服务器运行的稳定性。另外，导入缓存是在缓存中小文件数量小于第一阈值时进行的，一定程度上保证了删除小文件的效率。

下面对本发明实施例提供的一种基于元数据服务器删除小文件的装置实施例进行介绍，下文描述的一种基于元数据服务器删除小文件的装置与上文描述的一种基于元数据服务器删除小文件的方法可相互对应参照。

参见图3，该装置实施例包括：

缓存数量计算模块301：用于在元数据服务器删除小文件的过程中，计算缓存中待删除的小文件的缓存数量。

缓存数量判断模块302：用于判断所述缓存数量是否小于第一阈值。

其中，所述装置实施例还包括：

文件目录确定模块303：用于若所述缓存数量小于第一阈值，则确定尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录。

所述文件目录确定模块303具体包括：

判断单元3031：用于判断是否存在尚未缓存且待删除的小文件。

第一文件目录确定单元3032：用于若存在所述尚未缓存且待删除的小文件，则确定所述小文件所在的文件目录，所述文件目录包括多个层级的文件目录。

小文件数量计算单元3033：用于依次计算层级从高到低的文件目录下的小文件的数量，直至所述小文件的数量小于第二阈值。

第二文件目录确定单元3034：用于确定所述小文件的数量小于第二阈值的文件目录。

小文件导入模块304：用于将所述文件目录下的小文件导入所述缓存中，以便于所述元数据服务器删除所述文件目录下的小文件。

本实施例的一种基于元数据服务器删除小文件的装置用于实现前述的一种基于元数据服务器删除小文件的方法，因此该装置中的具体实施方式可见前文中的一种基于元数据服务器删除小文件的方法的实施例部分，例如，缓存数量计算模块301、缓存数量判断模块302、文件目录确定模块303、小文件导入模块304，分别用于实现上述一种基于元数据服务器删除小文件的方法中步骤S101，S102，S103，S104。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的一种基于元数据服务器删除小文件的装置用于实现前述的一种基于元数据服务器删除小文件的方法，因此其作用与上述方法的作用相对应，这里不再赘述。

存储器：用于存储计算机程序；

由于本发明提供的一种基于元数据服务器删除小文件的设备及计算机可读存储介质均用于实现前述的一种基于元数据服务器删除小文件的方法，因此其具体实施方式可以参见前述方法实施例的描述，这里不再展开介绍，另外，显然本发明提供的一种基于元数据服务器删除小文件的设备及计算机可读存储介质的作用与上述方法的作用相对应，这里也不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种基于元数据服务器删除小文件的方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种基于元数据服务器删除小文件的方法，其特征在于，包括：

判断所述缓存数量是否小于第一阈值；

2.如权利要求1所述的方法，其特征在于，所述尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录为根据用户下发的删除指令确定的文件目录，和/或根据所述元数据服务器的预设删除策略确定的文件目录。

3.如权利要求2所述的方法，其特征在于，所述确定尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录包括：

判断是否存在尚未缓存且待删除的小文件；

确定所述小文件的数量小于所述第二阈值的文件目录。

4.如权利要求1-3任意一项所述的方法，其特征在于，在所述判断所述缓存数量是否小于第一阈值之后，还包括：

5.一种基于元数据服务器删除小文件的装置，其特征在于，包括：

6.如权利要求5所述的装置，其特征在于，所述尚未缓存的待删除的且小文件的数量小于第二阈值的文件目录为根据用户下发的删除指令确定的文件目录，和/或根据所述元数据服务器的预设删除策略确定的文件目录。

7.如权利要求6所述的装置，其特征在于，所述文件目录确定模块包括：

判断单元：用于判断是否存在尚未缓存且待删除的小文件；

8.如权利要求5-7任意一项所述的装置，其特征在于，还包括：

9.一种基于元数据服务器删除小文件的设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如权利要求1-4任意一项所述的一种基于元数据服务器删除小文件的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4任意一项所述的一种基于元数据服务器删除小文件的方法的步骤。