CN110069457A - 一种基于分布式文件存储系统中过期文件删除方法及系统 - Google Patents

Abstract

本发明涉及服务器技术领域，提供一种基于分布式文件存储系统中过期文件删除方法及系统，方法包括：在分布式文件存储系统中，匹配查找需要删除的目标目录；对匹配查到的每一个需要删除的目标目录执行文件目录最后一次修改时间的计算；将每一个需要删除的目标目标的文件目录最后一次修改时间与预先设置的目录删除时间节点进行比对，判断当前判断的需要删除的目标目录是否需要执行删除动作；当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除，从而实现对分布式文件存储系统过期文件的删除，提升分布式文件系统的性能。

Description

一种基于分布式文件存储系统中过期文件删除方法及系统

技术领域

本发明属于服务器技术领域，尤其涉及一种基于分布式文件存储系统中过期文件删除方法及系统。

背景技术

面对海量的数据，如何有效存储，是每个大型网站、企事业单位必须要解决的问题,分布式文件存储系统就是为了解决这个问题而发展起来的技术。分布式存储系统是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式文件存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

虽分布式文件存储系统支持拍字节PB、艾字节EB级别的容量扩展，但是对于分布式文件存储系统采购成本以及对数据时效性的要求，就需要对分布式文件存储系统中过期的文件进行定时删除，但是，目前对分布式文件存储系统中过期文件的删除操作存在删除过程繁琐，删除操作盲目，可能影响分布式文件存储系统的正常运行。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于分布式文件存储系统中过期文件删除方法，旨在解决现有技术中对分布式文件存储系统中过期文件的删除操作存在删除过程繁琐，删除操作盲目，可能影响分布式文件存储系统的正常运行的问题。

本发明所提供的技术方案是：一种基于分布式文件存储系统中过期文件删除方法，所述方法包括下述步骤：

在分布式文件存储系统中，匹配查找需要删除的目标目录；

对匹配查到的每一个需要删除的目标目录执行文件目录最后一次修改时间的计算；

将每一个需要删除的目标目标的文件目录最后一次修改时间与预先设置的目录删除时间节点进行比对，判断当前判断的需要删除的目标目录是否需要执行删除动作；

当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除。

作为一种改进的方案，所述在分布式文件存储系统中，匹配查找需要删除的目标目录的步骤具体包括下述步骤：

对所述分布式文件系统中所有的目录进行遍历，所述目录包括包含以年月日命名的纯数字目录和包含字母的混合字符目录；

查找包含以年月日命名的纯数字目录，并暂存。

作为一种改进的方案，所述判断当前判断的需要删除的目标目录是否需要执行删除动作的步骤之后；所述当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除的步骤之前还包括下述步骤：

根据对需要删除的目标目录是否需要执行删除动作的判断，对需要执行删除动作的目标目录的数量进行统计，得到需要删除的目标目录数量；

将统计得到的需要删除的目标目录数量与预先设置的目录删除数量阈值进行比较，判断统计得到的需要删除的目标目录数量是否小于等于所述目录删除数量阈值；

当判定统计得到的需要删除的目标目录数量小于等于所述目录删除数量阈值时，执行所述将当前判断的需要删除的目标目录删除的步骤；

当判定统计得到的需要删除的目标目录数量大于所述目录删除数量阈值时，按照需要删除的目标目标的文件目录最后一次修改时间距离目录删除时间节点的远近关系，截取符合所述目录删除数量阈值相匹配的需要删除的目标目录文件数量，并执行所述将当前判断的需要删除的目标目录删除的步骤。

作为一种改进的方案，所述方法还包括下述步骤：

预先设置目录删除时间节点和目录删除数量阈值，所述目录删除时间节点为当前时间节点往前推移预设的时间阈值。

本发明的另一目的在于提供一种基于分布式文件存储系统中过期文件删除系统，所述系统包括：

目录匹配查找模块，用于在分布式文件存储系统中，匹配查找需要删除的目标目录；

修改时间计算模块，用于对匹配查到的每一个需要删除的目标目录执行文件目录最后一次修改时间的计算；

删除判断模块，用于将每一个需要删除的目标目标的文件目录最后一次修改时间与预先设置的目录删除时间节点进行比对，判断当前判断的需要删除的目标目录是否需要执行删除动作；

目录删除模块，用于当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除。

作为一种改进的方案，所述目录匹配查找模块具体包括：

遍历模块，用于对所述分布式文件系统中所有的目录进行遍历，所述目录包括包含以年月日命名的纯数字目录和包含字母的混合字符目录；

查找暂存模块，用于查找包含以年月日命名的纯数字目录，并暂存。

作为一种改进的方案，所述系统还包括：

目录数量统计模块，用于根据对需要删除的目标目录是否需要执行删除动作的判断，对需要执行删除动作的目标目录的数量进行统计，得到需要删除的目标目录数量；

数量判断模块，用于将统计得到的需要删除的目标目录数量与预先设置的目录删除数量阈值进行比较，判断统计得到的需要删除的目标目录数量是否小于等于所述目录删除数量阈值；

目标目录数量截取模块，用于当判定统计得到的需要删除的目标目录数量大于所述目录删除数量阈值时，按照需要删除的目标目标的文件目录最后一次修改时间距离目录删除时间节点的远近关系，截取符合所述目录删除数量阈值相匹配的需要删除的目标目录文件数量，并执行所述目录删除模块将当前判断的需要删除的目标目录删除的步骤；

当判定统计得到的需要删除的目标目录数量小于等于所述目录删除数量阈值时，执行所述目录删除模块将当前判断的需要删除的目标目录删除的步骤。

作为一种改进的方案，所述系统还包括：

预先设置模块，用于预先设置目录删除时间节点和目录删除数量阈值，所述目录删除时间节点为当前时间节点往前推移预设的时间阈值。

在本发明实施例中，在分布式文件存储系统中，匹配查找需要删除的目标目录；对匹配查到的每一个需要删除的目标目录执行文件目录最后一次修改时间的计算；将每一个需要删除的目标目标的文件目录最后一次修改时间与预先设置的目录删除时间节点进行比对，判断当前判断的需要删除的目标目录是否需要执行删除动作；当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除，从而实现对分布式文件存储系统过期文件的删除，提升分布式文件系统的性能。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1是本发明提供的基于分布式文件存储系统中过期文件删除方法的实现流程图；

图2是本发明提供的在分布式文件存储系统中，匹配查找需要删除的目标目录的实现流程图；

图3是本发明提供的基于分布式文件存储系统中过期文件删除系统的结构框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的、技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

图1是本发明提供的基于分布式文件存储系统中过期文件删除方法的实现流程图，其具体包括下述步骤：

在步骤S101中，在分布式文件存储系统中，匹配查找需要删除的目标目录。

在步骤S102中，对匹配查到的每一个需要删除的目标目录执行文件目录最后一次修改时间的计算。

在步骤S103中，将每一个需要删除的目标目标的文件目录最后一次修改时间与预先设置的目录删除时间节点进行比对，判断当前判断的需要删除的目标目录是否需要执行删除动作。

在步骤S104中，当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除。

当判定当前判断的需要删除的目标目录不需要执行删除动作时，则结束。

在该实施例中，该基于分布式文件存储系统中过期文件删除方法通过内置于linux系统中，定时循环执行实现。

在本发明实施例中，如图2所示，所述在分布式文件存储系统中，匹配查找需要删除的目标目录的步骤具体包括下述步骤：

在步骤S201中，对所述分布式文件系统中所有的目录进行遍历，所述目录包括包含以年月日命名的纯数字目录和包含字母的混合字符目录；

在步骤S202中，查找包含以年月日命名的纯数字目录，并暂存。

在该实施例中，遍历查找的过期文件是以年月日命名的文件，其他文件不需要删除。

在本发明实施例中，判断当前判断的需要删除的目标目录是否需要执行删除动作的步骤之后；所述当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除的步骤之前还包括下述步骤：

(1)根据对需要删除的目标目录是否需要执行删除动作的判断，对需要执行删除动作的目标目录的数量进行统计，得到需要删除的目标目录数量；

(2)将统计得到的需要删除的目标目录数量与预先设置的目录删除数量阈值进行比较，判断统计得到的需要删除的目标目录数量是否小于等于所述目录删除数量阈值；

(3)当判定统计得到的需要删除的目标目录数量小于等于所述目录删除数量阈值时，执行所述将当前判断的需要删除的目标目录删除的步骤；

(4)当判定统计得到的需要删除的目标目录数量大于所述目录删除数量阈值时，按照需要删除的目标目标的文件目录最后一次修改时间距离目录删除时间节点的远近关系，截取符合所述目录删除数量阈值相匹配的需要删除的目标目录文件数量，并执行所述将当前判断的需要删除的目标目录删除的步骤。

在该实施例中，在执行完判断当前判断的需要删除的目标目录是否需要执行删除动作后，统计整个需要删除的目标目录的数量，然后根据该统计的数量做判断，如果数量超过预先设置的阈值，则可能导致整个分布式文件存储系统出现崩溃等现象，因此需要执行上述判断的步骤；

当统计的删除目录的数量大于预先设置目录删除数量阈值时，则可以按照时间先后的顺序，截取符合所述目录删除数量阈值的目录进行删除，在此不再赘述。

在本发明实施例中，执行上述步骤S101之前还需要执行下述步骤：

预先设置目录删除时间节点和目录删除数量阈值，所述目录删除时间节点为当前时间节点往前推移预设的时间阈值；

该目录删除数量阈值的计算方式有多种，其可以根据当前分布式文件存储系统的具体系统参数进行设置，例如分布式文件存储系统的MDS节点数以及缓存个数等，在此不再赘述。

在该实施例中，分布式存储系统对于存储容量有一定的阈值水准，当集群的已用容量超过既定阈值，集群会出现不可写的严重后果，会造成上层业务中断，从而给用户造成服务不可用的严重影响。在分布式存储应用的某些场景下，如视频监控领域等；在不影响MDS服务的情况下，需要根据mds缓存来计算需要删除的文件个数，同时在系统中提供一个定时删除的工具，用来删除系统中的过期文件，同时能够保证系统的稳定运行。

图3示出了本发明提供的基于分布式文件存储系统中过期文件删除系统的结构框图，为了便于说明，图中仅给出与本发明实施例相关的部分。

基于分布式文件存储系统中过期文件删除系统包括：

目录匹配查找模块11，用于在分布式文件存储系统中，匹配查找需要删除的目标目录；

修改时间计算模块12，用于对匹配查到的每一个需要删除的目标目录执行文件目录最后一次修改时间的计算；

删除判断模块13，用于将每一个需要删除的目标目标的文件目录最后一次修改时间与预先设置的目录删除时间节点进行比对，判断当前判断的需要删除的目标目录是否需要执行删除动作；

目录删除模块14，用于当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除。

其中，所述目录匹配查找模块11具体包括：

遍历模块15，用于对所述分布式文件系统中所有的目录进行遍历，所述目录包括包含以年月日命名的纯数字目录和包含字母的混合字符目录；

查找暂存模块16，用于查找包含以年月日命名的纯数字目录，并暂存。

在本发明实施例中，所述系统还包括：

目录数量统计模块17，用于根据对需要删除的目标目录是否需要执行删除动作的判断，对需要执行删除动作的目标目录的数量进行统计，得到需要删除的目标目录数量；

数量判断模块18，用于将统计得到的需要删除的目标目录数量与预先设置的目录删除数量阈值进行比较，判断统计得到的需要删除的目标目录数量是否小于等于所述目录删除数量阈值；

目标目录数量截取模块19，用于当判定统计得到的需要删除的目标目录数量大于所述目录删除数量阈值时，按照需要删除的目标目标的文件目录最后一次修改时间距离目录删除时间节点的远近关系，截取符合所述目录删除数量阈值相匹配的需要删除的目标目录文件数量，并执行所述目录删除模块将当前判断的需要删除的目标目录删除的步骤；

当判定统计得到的需要删除的目标目录数量小于等于所述目录删除数量阈值时，执行所述目录删除模块将当前判断的需要删除的目标目录删除的步骤。

在本发明实施例中，所述系统还包括：

预先设置模块20，用于预先设置目录删除时间节点和目录删除数量阈值，所述目录删除时间节点为当前时间节点往前推移预设的时间阈值。

其中，上述各个模块的功能如上述方法实施例所记载，在此不再赘述。

在本发明实施例中，在分布式文件存储系统中，匹配查找需要删除的目标目录；对匹配查到的每一个需要删除的目标目录执行文件目录最后一次修改时间的计算；将每一个需要删除的目标目标的文件目录最后一次修改时间与预先设置的目录删除时间节点进行比对，判断当前判断的需要删除的目标目录是否需要执行删除动作；当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除，从而实现对分布式文件存储系统过期文件的删除，提升分布式文件系统的性能。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种基于分布式文件存储系统中过期文件删除方法，其特征在于，所述方法包括下述步骤：

在分布式文件存储系统中，匹配查找需要删除的目标目录；

对匹配查到的每一个需要删除的目标目录执行文件目录最后一次修改时间的计算；

将每一个需要删除的目标目标的文件目录最后一次修改时间与预先设置的目录删除时间节点进行比对，判断当前判断的需要删除的目标目录是否需要执行删除动作；

当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除。

2.根据权利要求1所述的基于分布式文件存储系统中过期文件删除方法，其特征在于，所述在分布式文件存储系统中，匹配查找需要删除的目标目录的步骤具体包括下述步骤：

对所述分布式文件系统中所有的目录进行遍历，所述目录包括包含以年月日命名的纯数字目录和包含字母的混合字符目录；

查找包含以年月日命名的纯数字目录，并暂存。

3.根据权利要求2所述的基于分布式文件存储系统中过期文件删除方法，其特征在于，所述判断当前判断的需要删除的目标目录是否需要执行删除动作的步骤之后；所述当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除的步骤之前还包括下述步骤：

根据对需要删除的目标目录是否需要执行删除动作的判断，对需要执行删除动作的目标目录的数量进行统计，得到需要删除的目标目录数量；

将统计得到的需要删除的目标目录数量与预先设置的目录删除数量阈值进行比较，判断统计得到的需要删除的目标目录数量是否小于等于所述目录删除数量阈值；

当判定统计得到的需要删除的目标目录数量小于等于所述目录删除数量阈值时，执行所述将当前判断的需要删除的目标目录删除的步骤；

当判定统计得到的需要删除的目标目录数量大于所述目录删除数量阈值时，按照需要删除的目标目标的文件目录最后一次修改时间距离目录删除时间节点的远近关系，截取符合所述目录删除数量阈值相匹配的需要删除的目标目录文件数量，并执行所述将当前判断的需要删除的目标目录删除的步骤。

4.根据权利要求2所述的基于分布式文件存储系统中过期文件删除方法，其特征在于，所述方法还包括下述步骤：

预先设置目录删除时间节点和目录删除数量阈值，所述目录删除时间节点为当前时间节点往前推移预设的时间阈值。

5.一种基于分布式文件存储系统中过期文件删除系统，其特征在于，所述系统包括：

目录匹配查找模块，用于在分布式文件存储系统中，匹配查找需要删除的目标目录；

修改时间计算模块，用于对匹配查到的每一个需要删除的目标目录执行文件目录最后一次修改时间的计算；

删除判断模块，用于将每一个需要删除的目标目标的文件目录最后一次修改时间与预先设置的目录删除时间节点进行比对，判断当前判断的需要删除的目标目录是否需要执行删除动作；

目录删除模块，用于当判定当前判断的需要删除的目标目录需要执行删除动作时，将当前判断的需要删除的目标目录删除。

6.根据权利要求5所述的基于分布式文件存储系统中过期文件删除系统，其特征在于，所述目录匹配查找模块具体包括：

遍历模块，用于对所述分布式文件系统中所有的目录进行遍历，所述目录包括包含以年月日命名的纯数字目录和包含字母的混合字符目录；

查找暂存模块，用于查找包含以年月日命名的纯数字目录，并暂存。

7.根据权利要求6所述的基于分布式文件存储系统中过期文件删除系统，其特征在于，所述系统还包括：

目录数量统计模块，用于根据对需要删除的目标目录是否需要执行删除动作的判断，对需要执行删除动作的目标目录的数量进行统计，得到需要删除的目标目录数量；

数量判断模块，用于将统计得到的需要删除的目标目录数量与预先设置的目录删除数量阈值进行比较，判断统计得到的需要删除的目标目录数量是否小于等于所述目录删除数量阈值；

目标目录数量截取模块，用于当判定统计得到的需要删除的目标目录数量大于所述目录删除数量阈值时，按照需要删除的目标目标的文件目录最后一次修改时间距离目录删除时间节点的远近关系，截取符合所述目录删除数量阈值相匹配的需要删除的目标目录文件数量，并执行所述目录删除模块将当前判断的需要删除的目标目录删除的步骤；

当判定统计得到的需要删除的目标目录数量小于等于所述目录删除数量阈值时，执行所述目录删除模块将当前判断的需要删除的目标目录删除的步骤。

8.根据权利要求7所述的基于分布式文件存储系统中过期文件删除系统，其特征在于，所述系统还包括：

预先设置模块，用于预先设置目录删除时间节点和目录删除数量阈值，所述目录删除时间节点为当前时间节点往前推移预设的时间阈值。