CN109388624A - 分布式文件删除方法、装置、系统及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种分布式文件删除方法，包括：对文件系统的各预设目录设置待删除标记，待删除标记包括待删除时间；每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录；将待删除目录的数据执行删除操作。本申请通过对各预设目录添加待删除标记，实现了在当前系统时间大于待删除时间时，删除该预设目录下的数据，可以看出该删除方法简单不需用户关注操作，避免了当存储数据过时效时运维人员手动删除或依赖上层应用删除的操作，进而实现自动删除过时效预设目录，并且降低了运营成本，提高客户体验。本申请还提供一种提供分布式文件删除装置、系统及计算机可读存储介质，具有上述有益效果。

Description

分布式文件删除方法、装置、系统及计算机可读存储介质

技术领域

本申请涉及数据管理领域，特别涉及一种分布式文件删除方法、装置、系统及计算机可读存储介质。

背景技术

在如今的大数据时代，数据量不断膨胀，每天都有大量的新数据产生并存入存储集群，久而久之，存储集群将会面临实际使用容量达到存储集群临界点，需要运维人员定期清理已经不再使用的无用数据，才能保持集群的正常工作。

分布式文件系统是一种传统的存储方式，是目前一种较为成熟的存储技术，目前仍占据着存储市场绝大部分份额。分布式文件系统能将多个存储节点连接在一起，提供一个统一的存储集群，供上层业务使用。

目前的分布式文件系统存储集群针对视频监控等具有数据时效性的应用场景，当存储数据过时效需要删除时，需要靠运维人员手动删除或者依赖于上层应用来实现，这样便增加了运维成本和运营成本，删除方法复杂。

因此如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

有鉴于此，本申请的目的是提供一种分布式文件删除方法，有效避免了存储集群将面临存储达到临界点的风险，降低了运营成本，提高客户体验。本发明的另一目的是提供分布式文件删除装置、系统及计算机可读存储介质。

为解决上述技术问题，本申请提供一种分布式文件删除方法，包括：

对文件系统的各预设目录设置待删除标记，所述待删除标记包括待删除时间；

每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录；

将所述待删除目录的数据执行删除操作。

优选地，每隔预设周期将待删除时间小于当前系统时间的目录设置为待删除目录之后，还包括：

将所述待删除目录的特征信息记录到待删除目录列表中，其中，所述特征信息包括待删除标记和目录路径信息。

优选地，将所述待删除目录的数据执行删除操作，包括：

当所述系统时间在预设删除时间内，则删除所述待删除目录列表中所述待删除目录的所述特征信息和所述待删除目录的数据。

优选地，还包括：

将完成删除操作的待删除目录的特征信息在显示区进行显示。

本申请提供一种分布式文件删除装置，包括：

标记模块，用于对文件系统的各预设目录设置待删除标记，所述待删除标记包括待删除时间；

设置模块，用于每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录；

删除模块，用于将所述待删除目录的数据执行删除操作。

优选地，还包括：

记录模块，用于将所述待删除目录的特征信息记录到待删除目录列表中；其中，所述特征信息包括待删除标记和目录路径信息。

优选地，删除模块包括：

删除单元，用于当所述系统时间在预设删除时间内，则删除所述待删除目录列表中所述待删除目录的所述特征信息和所述待删除目录的数据。

优选地，还包括：

显示模块，用于将完成删除操作的待删除目录的特征信息显示在显示区。

本申请提供一种分布式文件删除系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述分布式文件删除方法的步骤。

本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述分布式文件删除方法的步骤。

本申请所提供的一种分布式文件删除方法，包括：对文件系统的各预设目录设置待删除标记，待删除标记包括待删除时间；每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录；将待删除目录的数据执行删除操作。

可见，通过对各预设目录添加待删除标记，实现了在当前系统时间大于待删除时间时，删除该预设目录下的数据，可以看出该删除方法简单不需用户关注操作，避免了当存储数据过时效时运维人员手动删除或依赖上层应用删除的操作，进而实现自动删除过时效预设目录，并且降低了运营成本，提高客户体验。本申请还提供一种分布式文件删除装置、系统及计算机可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种分布式文件删除方法的过程流程图；

图2为本发明提供的另一种分布式文件删除方法的过程流程图；

图3为本发明提供的另一种分布式文件删除方法的过程流程图；

图4本为发明提供的一种分布式文件删除具体实施过程的流程图；

图5为本发明提供的一种分布式文件删除装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前的分布式文件系统存储集群还未具备文件过期删除功能，针对视频监控等具有数据时效性的应用场景，需要靠运维人员手动删除或者依赖于上层应用来实现，这样便增加了运维成本和运营成本，而且存储集群将面临存储达到临界点的风险，限制了文件系统的应用价值。基于上述技术问题，本实施例采用对各预设目录添加待删除标记，实现了在当前系统时间大于待删除时间时，删除该预设目录下的数据，可以看出该删除方法简单不需用户关注操作，避免了当存储数据过时效时运维人员手动删除或依赖上层应用删除的操作，具体请参考图1，图1为本发明提供的一种分布式文件删除方法的过程流程图，包括：

S100、对文件系统的各预设目录设置待删除标记，待删除标记包括待删除时间。

具体的，本实施例在分布式文件存储系统中，存储有多种目录，目录下设置有相关数据，其中部分目录是需要永久保存，然而部分目录具有有限的时效性，当经过预设时间周期后可采取删除操作。因此本实施例针对这些可删除目录即各预设目录，对其设置待删除标记，其本质是设置目录的属性值，包括删除时间，即标记了该目录下的文件将会在哪个时刻过期，可以如下形式记录：Delete-At：2018-09-10 22:10:56其中Delete-At为属性名，后面的时刻为属性值，以上述为例，表示该目录将在2018年9月10日22时10分56秒过期。为方便用户使用，如果属性值省略后面的时分秒，将视为当日零点整为过期时刻。当然其删除时间也可以采用其它的设置方式，只要满足本实施例的目的即可，例如可以设置在数据保存一定时间后删除，也可以根据用户的实际需求进行设置，本实施例不再对其进行设置。删除标记也可以包括分级设置，以便用户监控放置误删除操作的发生，具体的相关内容用户可根据实际情况进行设定，当删除标记中重要级别为最重要时，可优选进行删除操作，当然也可以是其它的，只要满足本实施例的目的即可。待删除标记可以在文件保存初期进行设置，也可以在其他时间进行设置，删除时间可以根据各预设目录的热度进行设置，也可以根据各预设目录的时间先后进行设置，无论如何，只需要满足本实施例的目的即可，本实施例不再进行限定。

S110、每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录；

具体的，启动垃圾回收服务程序，每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录。本实施例不对预设周期进行限定，可以是每1小时、每5小时、每24小时、每1月等，用户可根据实际需求进行限定，只要满足本实施例的目的即可。本实施例不对得到待删除时间小于当前系统时间的方式进行限定，可以是在对各预设目录设置待删除标记时将各预设目录的信息及待删除标记记录在相关列表中，通过比对列表中的删除标记中的待删除时间得到待删除时间小于当前系统时间的目录，并将其设置为待删除目录，值得注意的是，当预设目录信息发生变化时，相关咧表中其对应的信息通过刷新进行及时的更新，以便确保信息的准确性；可以是浏览系统目录，本实施例不对浏览系统目录方式进行限定，可以是遍历也可以是其他方式，只要满足本实施例的目的即可，将待删除时间小于当前系统时间的目录设置为待删除目录。值得注意的是，若待删除时间大于当前系统时间则说明待删除时间并未过期，不对其采取设置操作，当然，也可以将待删除时间还有一定时间即将过期的目录进行标记，以使在下个预设周期内能够快速定位找到该预设目录，以减轻系统负荷并能够快速找到目录，提高删除速度，改善客户体验。

本实施例以遍历的浏览方式为例进行说明，对文件系统的各预设目录设置待删除标记，待删除标记包括待删除时间。分布式存储的目录为目录下有n个一级目录，每个一级目录下可能会有不同深度的子目录，假设深度为n，目录11到目录1n，服务从目录11开始到目录1n开始遍历，如果读取到某一级目录设定有待删除标记，那么该级目录下的所有子目录将都适用这个待删除标记，例如：目录13设置有删除标记，它的子目录14到目录1n都适用目录13的删除标记。同时服务不再遍历该级目录的子目录，将继续遍历该级目录的其他同级目录，直到遍历完一级目录11，然后以同样的方式遍历完下个一级目录21，直到完成所有目录的遍历。通过上述目录遍历，将具有待删除标记的目录即各预设目录且待删除时间小于当前系统时间的目录设置为待删除目录，并且由于遍历目录会占用存储系统的资源，所以目录的遍历会每个预设周期进行，用户可以根据场景自定义设置。

S120、将待删除目录的数据执行删除操作。

本实施例不对执行删除操作的删除时间进行限定，为保障系统的正常业务，系统可以仅在删除时间段内执行删除操作，时间超期后，将停止一切操作的线程，在此期间若有待删除目录没有完成删除操作，则在下一删除时间段内继续删除直到删除完成。一般的，删除时间可以设置为凌晨至次日早晨六点，当然也可以是其他时间。用户也可以立刻将待删除目录的数据执行删除操作，本实施例不再进行限定，只要满足本实施例的目的即可，用户也可以将完成删除操作的待删除目录的特征信息在显示区进行显示。以使用户能够清楚的了解待删除目录的具体信息，及操作进度。

基于上述技术方案，本发明实施例提供一种文件删除方法，通过对各预设目录添加待删除标记，实现了在当前系统时间大于待删除时间时，删除该预设目录下的数据，可以看出该删除方法简单不需用户关注操作，避免了当存储数据过时效时运维人员手动删除或依赖上层应用删除的操作，进而实现自动删除过时效预设目录，并且降低了运营成本，提高客户体验。

进一步，用户也将完成删除操作的待删除目录的特征信息在显示区进行显示。以使用户能够清楚的了解待删除目录的具体信息，及操作进度。

基于上述实施例，为了进一步使用户掌握待删除目录的信息，本实施例将待删除目录的特征信息特征记录到待删除目录列表中，便于用户掌握待删除目录的信息，具体请参考图2，图2为本发明提供的另一种分布式文件删除方法的过程流程图，该方法可以包括：

S200、对文件系统的各预设目录设置待删除标记，待删除标记包括待删除时间；

S210、每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录。

具体实施方式如上述实施例，本实施例不再进行阐述。

S220、将待删除目录的特征信息记录到待删除目录列表中，其中，特征信息包括待删除标记和目录路径信息。

具体的，本实施例将待删除目录的特征信息记录到待删除目录列表中，特征信息包括待删除标记和目录路径信息。通过将待删除目录的特征信息记录到待删除目录列表中，以使用户能清楚了解待删除目录的情况，并且用户还可以通过查看待删除目录列表中的待删除目录的特征信息对待删除目录进行检测，以确保不会存在误删除的操作的发生。

S230、将待删除目录的数据执行删除操作。

具体实施方式如上述实施例，本实施例不再进行阐述。

基于上述技术方案，本发明实施例提供一种分布式文件删除方法，通过将待删除目录的特征信息特征记录到待删除目录列表中，便于用户掌握待删除目录的信息，通过查看待删除目录列表中的信息以便及时发现误操作预设目录的现象的发生，减少误删除操作的发生。

基于上述实施例，为了不影响正常业务的运行，本实施例只在预设删除时间内将待删除目录列表中的待删除目录的特征信息删除，通过设置预设删除时间可以提高本实施例的分布是文件删除方法的灵活性。具体请参考图3，图3为本发明提供的另一种分布式文件删除方法的过程流程图；该方法可以包括：

S300、对文件系统的各预设目录设置待删除标记，待删除标记包括待删除时间；

S310、每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录；

S320、将待删除目录的特征信息记录到待删除目录列表中，其中，特征信息包括待删除标记和目录路径信息。

S330、当系统时间在预设删除时间内，则删除待删除目录列表中待删除目录的特征信息和删除目录的数据。

具体的，当系统时间在预设删除时间内则删除待删除目录列表中待删除目录的特征信息和删除目录的数据，当系统时间不再预设删除时间范围内，则进行等待，直到系统时间在预设删除时间内，再采取删除操作。

基于上述技术方案，本发明实施例提供一种文件删除方法，通过在预设删除时间内删除待删除目录列表中待删除目录的特征信息和删除目录的数据的方法，有效避免了在不分业务运行状况而采取删除造成的影响正常业务的情况的发生，进而使分布式文件的删除方法更加灵活，通过时间的设定可以最大限度地不影响正常业务的进行，改善用户体验。

本实施例提供一中分布式文件删除方法的实施例，如图4所示，图4本为发明提供的一种分布式文件删除具体实施过程的流程图，包括：

对文件系统的各预设目录设置待删除标记，待删除标记包括待删除时间。

启动垃圾回收服务，定时遍历文件系统的所有目录，即每隔预设周期遍历文件系统的所有目录。

将过期目录及待删除目录刷新到待删除目录列表中，即待删除时间小于当前系统时间的预设目录设置为待删除目录，将待删除目录刷新到待删除目录列表中。

判断系统时间是否大于预设删除时间的开始时间。

若系统时间小于预设删除时间，则继续等待；若系统时间大于预设删除时间，则逐个读取待删除列表中的待删除目录，启动新的线程删除待删除目录并记录启动的线程号，判断当前系统时刻是否大于预设删除时间段的结束时间，若是则杀死所有已经记录的线程并等待进入执行预设删除时间段，若否则继续执行删除操作，并实时监测是否处于预设删除时间内，并重复判断当前系统时刻是否大于预设删除时间段的结束时间并采取相应操作。

下面对本发明实施例提供的分布式文件删除装置进行介绍，下文描述的分布式文件删除装置与上文描述的分布式文件删除方法可相互对应参照。下述模块局设置于分布式文件存储系统中。

本实施例提供一种分布式文件删除装置，如图5所示，图5为本发明提供的一种分布式文件删除装置的结构示意图，包括：

标记模块100，用于对文件系统的各预设目录设置待删除标记，待删除标记包括删除时间；

设置模块200，用于每隔预设周期将待删除时间小于当前系统时间的目录设置为待删除目录；

删除模块300，用于将待删除目录的数据执行删除操作。

作为一种具体实施方式，一种分布式文件删除装置，还包括：

记录模块，用于将待删除目录的特征信息记录到待删除目录列表中；其中，特征信息包括待删除标记和目录路径信息。

作为一种具体实施方式，一种分布式文件删除装置，删除模块包括：

删除单元，用于当系统时间在预设删除时间内，则删除待删除目录列表中删除目录的特征信息和删除目录的数据。

作为一种具体实施方式，一种分布式文件删除装置，还包括：

显示模块，用于将完成删除操作的待删除目录的特征信息显示在显示区。

下面对本发明实施例提供的分布式文件删除系统进行介绍，下文描述的分布式文件删除系统与上文描述的分布式文件删除方法可相互对应参照。

本实施例提供一种分布式文件删除系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上述分布式文件删除方法的步骤。

下面对本实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的分布式文件删除方法可相互对应参照。

本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述分布式文件删除方法的步骤。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的分布式文件删除方法、装置、系统和计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种分布式文件删除方法，其特征在于，包括：

对文件系统的各预设目录设置待删除标记，所述待删除标记包括待删除时间；

每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录；

将所述待删除目录的数据执行删除操作。

2.根据权利要求1所述的分布式文件删除方法，其特征在于，每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录之后，还包括：

将所述待删除目录的特征信息记录到待删除目录列表中，其中，所述特征信息包括待删除标记和目录路径信息。

3.根据权利要求2所述的分布式文件删除方法，其特征在于，将所述待删除目录的数据执行删除操作，包括：

当所述系统时间在预设删除时间内，则删除所述待删除目录列表中所述待删除目录的所述特征信息和所述待删除目录的数据。

4.根据权利要求1至3任一项所述的分布式文件删除方法，其特征在于，还包括：

将完成删除操作的待删除目录的特征信息在显示区进行显示。

5.一种分布式文件删除装置，其特征在于，包括：

标记模块，用于对文件系统的各预设目录设置待删除标记，所述待删除标记包括待删除时间；

设置模块，用于每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录；

删除模块，用于将所述待删除目录的数据执行删除操作。

6.根据权利要求5所述的分布式文件删除装置，其特征在于，还包括：

记录模块，用于将所述待删除目录的特征信息记录到待删除目录列表中；其中，所述特征信息包括待删除标记和目录路径信息。

7.根据权利要求6所述的分布式文件删除装置，其特征在于，删除模块包括：

删除单元，用于当所述系统时间在预设删除时间内，则删除所述待删除目录列表中所述待删除目录的所述特征信息和所述待删除目录的数据。

8.根据权利要求5至7任一项所述的分布式文件删除装置，其特征在于，还包括：

显示模块，用于将完成删除操作的待删除目录的特征信息显示在显示区。

9.一种分布式文件删除系统，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述分布式文件删除方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述分布式文件删除方法的步骤。