CN108897498A - 集群文件系统数据快速删除方法、装置、设备 - Google Patents

集群文件系统数据快速删除方法、装置、设备 Download PDF

Info

Publication number
CN108897498A
CN108897498A CN201810700538.1A CN201810700538A CN108897498A CN 108897498 A CN108897498 A CN 108897498A CN 201810700538 A CN201810700538 A CN 201810700538A CN 108897498 A CN108897498 A CN 108897498A
Authority
CN
China
Prior art keywords
file system
catalogue
deleted
file
cluster file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810700538.1A
Other languages
English (en)
Inventor
李文鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810700538.1A priority Critical patent/CN108897498A/zh
Publication of CN108897498A publication Critical patent/CN108897498A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种集群文件系统数据快速删除方法，集群文件系统内设置有删除目录；该方法包括：通过集群文件系统内提供的删除接口将待删除的目录或文件移至删除目录下；按照设定时间触发集群文件系统内的后台扫描进程；运行后台扫描进程遍历扫描删除目录下的数据文件并进行删除，直至删除目录下数据文件的个数为零，即退出此次进程。本发明中可将指定的删除内容添加至删除目录内进行统一删除，提高删除效率以及删除操作的灵活性；本发明还公开了一种基于上述方法的装置、设备及计算机可读存储介质。

Description

集群文件系统数据快速删除方法、装置、设备
技术领域
本发明涉及云存储技术领域，特别是涉及一种集群文件系统数据快速删除方法、装置设备及计算机可读存储介质。
背景技术
在云存储时代，集群文件系统中存储有海量数据。当用户需要清除海量数据时，尤其多级目录嵌套的情况，传统删除方法耗时长，无法满足系统性能要求。
目前linux文件系统提供有一种数据快速删除的方法，该方法可以在秒级实现对目录或文件的直接清空操作。但是，目前许多集群文件系统并未提供对相应的接口功能支持，使得集群文件系统无法采用linux这种快速删除方法进行文件删除。其次，集群文件系统中包括海量数据(远超linux本地数据量)，linux的快速删除方法无法支持海量的数据删除；并且，目前linux的快速删除，仅能对整个目录进行删除，例如海量目录A下存在海量目录B1、B2、B3，如果要同时删除B1和B3，linux需要执行两次操作，删除，且对指定内容进行删除时的灵活性低，操作复杂。
因此，如何提供一种灵活性高的集群文件系统数据快速删除方法、装//设备及计算机可读存储介质是本领域技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种集群文件系统数据快速删除方法，可将指定的删除内容添加至删除目录内进行统一删除，提高删除效率以及删除操作的灵活性；本发明的另一目的是提供一种基于上述方法的装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供了一种集群文件系统数据快速删除方法，所述集群文件系统内设置有删除目录；所述方法包括：
通过所述集群文件系统内提供的删除接口将待删除的目录或文件移至所述删除目录下；
按照设定时间触发所述集群文件系统内的后台扫描进程；
运行所述后台扫描进程遍历扫描所述删除目录下的数据文件并进行删除，直至所述删除目录下数据文件的个数为零，即退出此次进程。
优选地，还包括：
将所述待删除的目录或文件移至所述删除目录的过程中，若检测到所述删除目录下存在与所述待删除的目录或文件同名的目录或文件，则将本次待删除的目录或文件的名称重命名为唯一标识符。
优选地，还包括：
接收到用户调用扫描接口后发送的触发信号后，触发所述集群文件系统内的后台扫描进程。
优选地，所述设定时间为触发周期。
为解决上述技术问题，本发明还提供了一种集群文件系统数据快速删除装置，所述集群文件系统内设置有删除目录；所述装置包括：
删除模块，用于通过所述集群文件系统内提供的删除接口将待删除的目录或文件移至所述删除目录下；
第一进程触发模块，用于按照设定时间触发所述集群文件系统内的后台扫描进程；
真实删除模块，用于运行所述后台扫描进程，遍历扫描所述删除目录下的数据文件并进行删除，直至所述删除目录下数据文件的个数为零，即退出此次进程；
目录数据库，用于存储所述删除目录。
优选地，所述删除模块还包括：
重命名单元，用于将所述待删除的目录或文件移至所述删除目录的过程中，若检测到所述删除目录下存在与所述待删除的目录或文件同名的目录或文件，则将本次待删除的目录或文件的名称重命名为唯一标识符。
优选地，还包括：
第二进程触发模块，用于接收到用户调用扫描接口后发送的触发信号后，触发所述集群文件系统内的后台扫描进程，触发所述真实删除模块。
为解决上述技术问题，本发明还提供了一种集群文件系统数据快速删除设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如以上任一项所述的集群文件系统数据快速删除方法的步骤。
为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上任一项所述的集群文件系统数据快速删除方法的步骤。
本发明提供了一种集群文件系统数据快速删除方法，将原有的海量数据删除操作分解为了两步：移至删除目录+清理删除；用户将待删除数据移至删除目录，对用户来说即完成了删除操作，而不必等待后续的数据清空操作过程，后续的清理过程可由系统自发进行这种方式优选利用集群文件系统提供的删除接口，因此能够适用于绝大多数的集群文件系统且能够支持海量的数据删除；另外，本发明能够将想要删除的指定部分移至删除目录内统一删除，简化了操作步骤，提高了删除效率，且删除操作的灵活性高。并且，本发明还提供了一种基于上述方法的装置、设备及计算机可读存储介质。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种集群文件系统数据快速删除方法的过程的流程图；
图2为本发明提供的一种集群文件系统数据快速删除装置的结构示意图。
具体实施方式
本发明的核心是提供一种集群文件系统数据快速删除方法，一种集群文件系统数据快速删除方法，可将指定的删除内容添加至删除目录内进行统一删除，提高删除效率以及删除操作的灵活性；本发明的另一核心是提供一种基于上述方法的装置、设备及计算机可读存储介质。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种集群文件系统数据快速删除方法，集群文件系统内设置有删除目录；参见图1所示，图1为本发明提供的一种集群文件系统数据快速删除方法的过程的流程图；该方法包括：
步骤s1：通过集群文件系统内提供的删除接口将待删除的目录或文件移至删除目录下；
首先，需要在集群文件系统下创建一个删除目录，例如/.fast_delete_dir。此时这些数据虽然仍存在与集群文件系统内，但是已经从其原本所在的目录内删除，因此从这些数据原本所在的目录位置来看的话，这些数据已经删除完成了，不再影响后续的操作了，而删除目录可理解为集群文件系统的垃圾箱。最后再将删除目录中数据在后台执行真实删除操作。
另外，这里的删除目录可以为隐藏目录，当然，本发明对此不作限定。
步骤s2：按照设定时间触发集群文件系统内的后台扫描进程；
其中，这里的设定时间为触发周期。即周期性地触发后台扫描进程。当然，这里的设定时间也可以不是触发周期，例如，每天9点和12点触发。设定时间的具体内容可根据需要设定，本发明对此不作限定。
步骤s3：运行后台扫描进程遍历扫描删除目录下的数据文件并进行删除，直至删除目录下数据文件的个数为零，即退出此次进程。
即后台扫描进程遍历删除目录时，若删除目录下数据文件个数为0，则立即退出此次进程，若数据文件不为0，则采用原本的集群文件系统的删除方式，依次清理删除目录下的数据文件，删除目录下为空后，退出此次进程。
作为优选地，步骤s1中还包括：
将待删除的目录或文件移至删除目录的过程中，若检测到删除目录下存在与待删除的目录或文件同名的目录或文件，则将本次待删除的目录或文件的名称重命名为唯一标识符。
可以理解的是，系统存储的文件或目录进行命名时，很可能会出现当前文件(或目录)的名称与之前删除至删除目录内的文件(或目录)名称相同的情况，但是，由于系统不允许同一目录下存在相同名称的文件(或目录)，因此，需要对其进行重命名操作。这里的唯一标识符可以为任何唯一的符号组合，例如A+删除时间，本发明对此不作限定。
作为优选地，该方法还包括：
接收到用户调用扫描接口后发送的触发信号后，触发集群文件系统内的后台扫描进程。
可以理解的是，虽然通常情况下，可以令后台定时自动触发后台扫描进程，但是部分情况下，用户可能会需要立刻清空删除目录内的文件，因此此时就会需要用户手动调用扫描接口，例如fast_clean，来触发后台扫描进程，从而根据用户需求进行文件删除。
需要注意的是，系统接收到用户调用扫描接口后发送的触发信号，或按照设定时间生成的触发信号中的任意一种时，均会触发后台扫描进程。两种触发信号均为后台扫描进程运行的触发条件。
本发明提供了一种集群文件系统数据快速删除方法，将原有的海量数据删除操作分解为了两步：移至删除目录+清理删除；用户将待删除数据移至删除目录，对用户来说即完成了删除操作，而不必等待后续的数据清空操作过程，后续的清理过程可由系统自发进行这种方式优选利用集群文件系统提供的删除接口，因此能够适用于绝大多数的集群文件系统且能够支持海量的数据删除；另外，本发明能够将想要删除的指定部分移至删除目录内统一删除，简化了操作步骤，提高了删除效率，且删除操作的灵活性高。
本发明还提供了一种集群文件系统数据快速删除装置，集群文件系统内设置有删除目录；参见图2所示，图2为本发明提供的一种集群文件系统数据快速删除装置的结构示意图。该装置包括：
删除模块1，用于通过集群文件系统内提供的删除接口将待删除的目录或文件移至删除目录下；
第一进程触发模块4，用于按照设定时间触发集群文件系统内的后台扫描进程；
真实删除模块3，用于运行后台扫描进程，遍历扫描删除目录下的数据文件并进行删除，直至删除目录下数据文件的个数为零，即退出此次进程；
目录数据库2，用于存储所述删除目录。
作为优选地，删除模块1还包括：
重命名单元，用于将待删除的目录或文件移至删除目录的过程中，若检测到删除目录下存在与待删除的目录或文件同名的目录或文件，则将本次待删除的目录或文件的名称重命名为唯一标识符。
作为优选地，该装置还包括：
第二进程触发模块5，用于接收到用户调用扫描接口后发送的触发信号后，触发集群文件系统内的后台扫描进程，触发真实删除模块3。
本发明提供了一种集群文件系统数据快速删除装置，将原有的海量数据删除操作分解为了两步：移至删除目录+清理删除；用户将待删除数据移至删除目录，对用户来说即完成了删除操作，而不必等待后续的数据清空操作过程，后续的清理过程可由系统自发进行这种方式优选利用集群文件系统提供的删除接口，因此能够适用于绝大多数的集群文件系统且能够支持海量的数据删除；另外，本发明能够将想要删除的指定部分移至删除目录内统一删除，简化了操作步骤，提高了删除效率，且删除操作的灵活性高。
本发明还提供了一种集群文件系统数据快速删除设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如以上任一项的集群文件系统数据快速删除方法的步骤。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如以上任一项的集群文件系统数据快速删除方法的步骤。
以上的几种具体实施方式仅是本发明的优选实施方式，以上几种具体实施例可以任意组合，组合后得到的实施例也在本发明的保护范围之内。应当指出，对于本技术领域的普通技术人员来说，相关专业技术人员在不脱离本发明精神和构思前提下推演出的其他改进和变化，均应包含在本发明的保护范围之内。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种集群文件系统数据快速删除方法，其特征在于，所述集群文件系统内设置有删除目录；所述方法包括：
通过所述集群文件系统内提供的删除接口将待删除的目录或文件移至所述删除目录下；
按照设定时间触发所述集群文件系统内的后台扫描进程；
运行所述后台扫描进程遍历扫描所述删除目录下的数据文件并进行删除，直至所述删除目录下数据文件的个数为零，即退出此次进程。
2.根据权利要求1所述的方法，其特征在于，还包括：
将所述待删除的目录或文件移至所述删除目录的过程中，若检测到所述删除目录下存在与所述待删除的目录或文件同名的目录或文件，则将本次待删除的目录或文件的名称重命名为唯一标识符。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
接收到用户调用扫描接口后发送的触发信号后，触发所述集群文件系统内的后台扫描进程。
4.根据权利要求1所述的方法，其特征在于，所述设定时间为触发周期。
5.一种集群文件系统数据快速删除装置，其特征在于，所述集群文件系统内设置有删除目录；所述装置包括：
删除模块，用于通过所述集群文件系统内提供的删除接口将待删除的目录或文件移至所述删除目录下；
第一进程触发模块，用于按照设定时间触发所述集群文件系统内的后台扫描进程；
真实删除模块，用于运行所述后台扫描进程，遍历扫描所述删除目录下的数据文件并进行删除，直至所述删除目录下数据文件的个数为零，即退出此次进程；
目录数据库，用于存储所述删除目录。
6.根据权利要求5所述的装置，其特征在于，所述删除模块还包括：
重命名单元，用于将所述待删除的目录或文件移至所述删除目录的过程中，若检测到所述删除目录下存在与所述待删除的目录或文件同名的目录或文件，则将本次待删除的目录或文件的名称重命名为唯一标识符。
7.根据权利要求5或6所述的装置，其特征在于，还包括：
第二进程触发模块，用于接收到用户调用扫描接口后发送的触发信号后，触发所述集群文件系统内的后台扫描进程，触发所述真实删除模块。
8.一种集群文件系统数据快速删除设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的集群文件系统数据快速删除方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的集群文件系统数据快速删除方法的步骤。
CN201810700538.1A 2018-06-29 2018-06-29 集群文件系统数据快速删除方法、装置、设备 Pending CN108897498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810700538.1A CN108897498A (zh) 2018-06-29 2018-06-29 集群文件系统数据快速删除方法、装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810700538.1A CN108897498A (zh) 2018-06-29 2018-06-29 集群文件系统数据快速删除方法、装置、设备

Publications (1)

Publication Number Publication Date
CN108897498A true CN108897498A (zh) 2018-11-27

Family

ID=64347491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810700538.1A Pending CN108897498A (zh) 2018-06-29 2018-06-29 集群文件系统数据快速删除方法、装置、设备

Country Status (1)

Country Link
CN (1) CN108897498A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1609852A (zh) * 2003-06-30 2005-04-27 微软公司 减少视觉复杂性和搜索工作的模块和方法
CN106354884A (zh) * 2016-10-09 2017-01-25 郑州云海信息技术有限公司 一种基于分布式文件系统的数据对象删除方法及装置
CN107066349A (zh) * 2017-01-20 2017-08-18 郑州云海信息技术有限公司 一种集群文件系统数据保护的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1609852A (zh) * 2003-06-30 2005-04-27 微软公司 减少视觉复杂性和搜索工作的模块和方法
CN106354884A (zh) * 2016-10-09 2017-01-25 郑州云海信息技术有限公司 一种基于分布式文件系统的数据对象删除方法及装置
CN107066349A (zh) * 2017-01-20 2017-08-18 郑州云海信息技术有限公司 一种集群文件系统数据保护的方法及系统

Similar Documents

Publication Publication Date Title
CN108491549B (zh) 一种分布式存储系统中文件目录的创建方法及装置
CN109391664A (zh) 用于多集群容器部署的系统和方法
CN102905002A (zh) 一种自动合并联系人条目的方法和系统
EP0586550A1 (en) Relational data base memory utilization analyzer
CN102708197B (zh) 一种多媒体文件管理方法及装置
CN106294206B (zh) 一种缓存数据处理方法以及装置
CN102360318A (zh) Fat文件系统中被删除文件的恢复方法及装置
CN105677736A (zh) 一种增加、删除服务器节点的方法及装置
CN102970358A (zh) 网盘中移动客户端的本地缓存的控制方法和装置
CN102096669A (zh) 一种数据备份方法和数据备份装置
CN108932271B (zh) 一种文件管理方法及装置
CN108984583A (zh) 一种基于日志文件的搜索方法
CN108319634B (zh) 分布式文件系统的目录访问方法和装置
CN103605732B (zh) 基于Infobright的数据仓库和系统及其构建方法
CN109710188B (zh) 一种磁盘数据管理方法、装置、设备及可读存储介质
CN108897498A (zh) 集群文件系统数据快速删除方法、装置、设备
CN109471860B (zh) 面向电动汽车充电网络大规模充电桩数据处理方法及装置
CN107632926B (zh) 业务数量统计方法、装置、设备及计算机可读存储介质
CN106407383A (zh) 一种图片排列方法及装置
CN111382180B (zh) 一种本地缓存的数据清除方法和装置
CN108897569A (zh) iOS工程无用文件的清理方法及计算机可读存储介质
CN111259081A (zh) 一种数据同步方法、装置、电子设备及存储介质
CN108509639B (zh) 表信息管理方法、装置及可读存储介质
CN110377422A (zh) 一种资源管理方法、装置、设备及可读存储介质
CN110109866B (zh) 一种文件系统目录的管理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181127

RJ01 Rejection of invention patent application after publication