CN106407465A - 一种基于分布式文件系统的文件删除方法和系统 - Google Patents

Abstract

本发明公开了一种基于分布式文件系统的文件删除方法和系统，该方法包括：将分布式文件系统中被删除的第一文件置为删除保留状态；判断当前分布式文件系统是否处于写入第二文件状态；若是，则判断当前是否存在处于删除保留状态的第一文件；若是，则控制第二文件重用处于删除保留状态的第一文件的元数据和数据分布信息。在删除文件时，对该删除的文件保留元数据及数据分布，以留给后续的写入文件使用，无需真正释放该删除文件所占用的空间，当写入新文件时，通过重用该删除文件的元数据和数据分布的方式，使写入的新文件使用删除文件的空间，从而避免了释放删除文件空间所带来的系统资源消耗和性能消耗，以达到提升系统性能的目的。

Description

一种基于分布式文件系统的文件删除方法和系统

技术领域

本发明涉及存储技术领域，特别是涉及一种基于分布式文件系统的文件删除方法和系统。

背景技术

随着信息技术的发展，人们的工作和生活中的很多方面都离不开存储系统。

人们在应用存储系统时，常常需要删除一些文件，删除文件一般分为两个过程，先删除文件元数据，再释放文件所占用的空间。其中，删除元数据的操作占用系统资源较少，执行速度较快，释放文件空间的操作占用系统资源较多，执行速度较慢，在需要删除的文件较大时尤为明显。所以，一般在存储系统的实现中，会在完成元数据删除后，立即向用户返回删除成功的通知信息，再在后台逐块释放文件所占用的空间。然而，尽管释放文件空间的操作在后台执行，但是这种释放文件所占空间的操作仍然会占用大量的系统资源，如占用CPU、内存、网络和磁盘资源，会降低存储系统的整体性能。

因此，如何对文件进行删除时，避免删除文件释放文件空间所带来的存储系统资源消耗和性能消耗，从而提高存储系统的性能，是本领域技术人员目前需要解决的技术问题。

发明内容

本发明的目的是提供一种基于分布式文件系统的文件删除方法和系统，可以对文件进行删除时，避免删除文件释放文件空间所带来的存储系统资源消耗和性能消耗，从而提高存储系统的性能。

为解决上述技术问题，本发明提供了如下技术方案：

一种基于分布式文件系统的文件删除方法，包括：

将分布式文件系统中被删除的第一文件置为删除保留状态；

判断当前所述分布式文件系统是否处于写入第二文件状态；

若是，则判断当前是否存在处于删除保留状态的第一文件；

若是，则控制所述第二文件重用所述处于删除保留状态的第一文件的元数据和数据分布信息。

优选地，在将分布式文件系统中被删除的第一文件置为删除保留状态之前，还包括：预先获取删除文件的指定类型；判断分布式文件系统中被删除的第一文件的类型是否为所述指定类型；若是，则执行将分布式文件系统中被删除的第一文件置为删除保留状态的步骤；

其中，在判断当前是否存在处于删除保留状态的第一文件之前，还包括：判断所述第二文件的类型是否为所述指定类型；若是，则执行判断当前是否存在处于删除保留状态的第一文件的步骤。

优选地，所述将分布式文件系统中被删除的第一文件置为删除保留状态，包括：

将所述分布式文件系统中被删除的第一文件移动至预设位置；

重置所述第一文件的元数据，将所述第一文件的大小设置为0；

保留所述第一文件的数据分布信息。

优选地，所述控制所述第二文件重用所述处于删除保留状态的第一文件的元数据和数据分布信息，包括：

判断所述第二文件所占空间是否小于该第一文件所占空间；

若是，则控制所述第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的存储空间，并将该第一文件原存储空间在所述第二文件写入完成后剩余的空间进行释放；

若否，则控制所述第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的全部存储空间，并将所述第二文件占用该第一文件的全部存储空间后剩余的文件内容存储在空闲存储空间。

优选地，所述保留所述第一文件的数据分布信息，包括：

保留所述第一文件的将数据存储至对应存储空间的映射信息。

一种基于分布式文件系统的文件删除系统，包括：

删除文件处理模块，用于将分布式文件系统中被删除的第一文件置为删除保留状态；

第一判断模块，用于判断当前所述分布式文件系统是否处于写入第二文件状态；

第二判断模块，用于在所述第一判断模块判定当前所述分布式文件系统处于写入第二文件状态时，判断当前是否存在处于删除保留状态的第一文件；

写入文件处理模块，用于在所述第二判断模块判定当前存在处于删除保留状态的第一文件时，控制所述第二文件重用所述处于删除保留状态的第一文件的元数据和数据分布信息。

优选地，还包括：

文件类型获取模块，用于响应用户的操作，预先获取删除文件的指定类型；

第三判断模块，用于判断分布式文件系统中被删除的第一文件的类型是否为所述指定类型，并在判定所述第一文件的类型为所述指定类型时控制所述删除文件处理模块动作；

第四判断模块，用于判断所述第二文件的类型是否为所述指定类型，并在判定所述第二文件的类型为所述指定类型时，控制所述第二判断模块动作。

优选地，所述删除文件处理模块包括：

删除文件移动单元，用于将所述第一文件移动至预设位置；

元数据重置单元，用于重置所述第一文件的元数据，将所述第一文件的大小设置为0；

数据分布保留单元，用于保留所述第一文件的数据分布信息。

优选地，所述写入文件处理模块包括：

第一判断单元，用于判断所述第二文件所占空间是否小于该第一文件所占空间；

第一写入文件处理单元，用于在所述第一判断单元判定所述第二文件所占空间小于该第一文件所占空间时，控制所述第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的存储空间，并将该第一文件原存储空间在所述第二文件写入完成后剩余的空间进行释放；

第二写入文件处理单元，用于在所述第一判断单元判定所述第二文件所占空间不小于该第一文件所占空间时，控制所述第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的全部存储空间，并将所述第二文件占用该第一文件的全部存储空间后剩余的文件内容存储在空闲存储空间。

与现有技术相比，上述技术方案具有以下优点：

本发明所提供的一种基于分布式文件系统的文件删除方法，包括：将分布式文件系统中被删除的第一文件置为删除保留状态；判断当前分布式文件系统是否处于写入第二文件状态；若是，则判断当前是否存在处于删除保留状态的第一文件；若是，则控制第二文件重用处于删除保留状态的第一文件的元数据和数据分布信息。在分布式文件系统中，在删除文件时，对该删除的文件保留元数据及数据分布，以留给后续的写入文件使用，无需真正释放该删除文件所占用的空间，当写入新文件时，通过重用该删除文件的元数据和数据分布的方式，使写入的新文件使用删除文件的空间，从而避免了释放删除文件空间所带来的系统资源消耗和性能消耗，以达到提升系统性能的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种具体实施方式所提供的一种基于分布式文件系统的文件删除方法流程图；

图2为本发明一种具体实施方式所提供的一种基于分布式文件系统的文件删除系统结构示意图。

具体实施方式

本发明的核心是提供一种基于分布式文件系统的文件删除方法和系统，可以对文件进行删除时，避免删除文件释放文件空间所带来的存储系统资源消耗和性能消耗，从而提高存储系统的性能。

为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施的限制。

请参考图1，图1为本发明一种具体实施方式所提供的一种基于分布式文件系统的文件删除方法流程图。

本发明的一种具体实施方式提供了一种基于分布式文件系统的文件删除方法，包括：

S11：将分布式文件系统中被删除的第一文件置为删除保留状态。

在本发明的一种实施方式中，将分布式文件系统中被删除的第一文件置为删除保留状态，包括：将分布式文件系统中被删除的第一文件移动至预设位置，即直接将该第一文件移动到一个特殊的位置(如回收站)；重置第一文件的元数据，将第一文件的大小设置为0，在本步骤中，不删除该第一文件的元数据，而是以重置元数据代替，重置元数据将文件大小设置为0；保留第一文件的数据分布信息。

其中，保留第一文件的数据分布信息，包括：保留第一文件的将数据存储至对应存储空间的映射信息。例如，在一文件的存储过程中，将该文件按大小切分成不同的数据块，并按照一定的规则将各数据库映射在不同的分区，并按照一定的规则进行映射，最终将该文件的数据存储在磁盘的不同分组中。而保留第一文件的数据分布信息就是保留第一文件存储过程中的各种映射关系信息，当后续写入新文件时，将新文件按照第一文件的存储映射关系进行存储，覆盖第一文件的数据，以占用第一文件的存储空间。

S12：判断当前分布式文件系统是否处于写入第二文件状态。即判断当前是否写入新的文件。

S13：若是，则判断当前是否存在处于删除保留状态的第一文件。

在实际应用中，通常情况下并不是删除一个第一文件，后续就开始写入一个第二文件。在一段时间内可能会删除多个第一文件，有时可能会遇到写入的第二文件的数量大于删除的第一文件的数量，因此，此时在写入一个第二文件时，首先判断一下当前是否存在处于删除保留状态的第一文件，以确定新写入的第二文件的写入方式。

S14：若是，则控制第二文件重用处于删除保留状态的第一文件的元数据和数据分布信息。

当当前具有处于删除保留状态的第一文件时，控制第二文件重用处于删除保留状态的第一文件的元数据和数据分布信息。其中，若有多个处于删除保留状态的第一文件，可以根据实际情况选择重用的第一文件，如可以按照各第一文件删除的先后顺序，或者选择和该第二文件所占用的空间大小最相近的第一文件来进行空间重用。

在本发明的一种实施方式中，控制第二文件重用处于删除保留状态的第一文件的元数据和数据分布信息，包括：

判断第二文件所占空间是否小于该第一文件所占空间。

若是，则控制第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的存储空间，并将该第一文件原存储空间在第二文件写入完成后剩余的空间进行释放。

当第二文件所占的空间小于该第一文件所占空间时，将第二文件写入完成时，第一文件的原存储空间仍有剩余，为了有效利用剩余空间，此时将剩余的空间进行释放。

若否，则控制第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的全部存储空间，并将第二文件占用该第一文件的全部存储空间后剩余的文件内容存储在空闲存储空间。

当第二文件所占的空间等于第一文件所占的空间时，这是最理想的状态，只需将第二文件完全占用第一文件的原空间即可。但是有时第二文件所占的空间大于第一文件所占空间，当第二文件完全占用了第一文件的原空间后，第二文件仍未写入完成，此时需要调用其他空闲空间以供第二文件继续写入，直至第二文件写入完成。

在本发明的上述各实施方式中，被删除文件的元数据和数据分布在该文件删除时并不真正删除，而是留至在新文件写入时重用，以保证新文件可以写入到该删除文件原有的文件空间，取消实际释放存储空间的操作，大大降低删除文件时释放该文件的存储空间对系统资源的消耗。

此外，在写入新的文件时，删除文件的元数据已经将文件大小设置为0，所以系统会认为当前是新写入数据，而不是修改写，从而避免在新文件写入过程中读取原有数据。

在本发明的一种实施方式中，在将分布式文件系统中被删除的第一文件置为删除保留状态之前，还包括：预先获取删除文件的指定类型；判断分布式文件系统中被删除的第一文件的类型是否为所述指定类型；若是，则执行将分布式文件系统中被删除的第一文件置为删除保留状态的步骤；

其中，在判断当前是否存在处于删除保留状态的第一文件之前，还包括：判断所述第二文件的类型是否为所述指定类型；若是，则执行判断当前是否存在处于删除保留状态的第一文件的步骤。

在本实施方式中，用户预先指定使用本文件删除方法的文件的特征，即获取用户指定的删除文件的指定类型。以便获取更好的准确性和效率。如用户想要删除一个文件“file1.mkv”时，可以指定“.mkv”为指定类型的文件。当被删除的文件的类型为指定类型时才在该文件被删除时置于删除保留状态。当然指定类型可以是一个也可以是多个指定的类型，即可根据不同的指定类型对处于删除保留状态的各第一文件进行分类。当分布式系统处于写入第二文件状态时，判断该第二文件是否为上述指定类型，若是，则在存在处于删除保留状态的第一文件的情况下，则控制该第二文件重用处于删除保留状态的第一文件的元数据和数据分布信息。当然，若设置了多个指定类型，则需要判定该第二文件属于哪个指定类型，在后续写入过程中，控制该第二文件优先重用和该第二文件指定类型相同的第一文件的元数据和数据分布信息。这是由于当第二文件和第一文件的文件类型相同时，可以提高其重用的效率。

请参考图2，图2为本发明一种具体实施方式所提供的一种基于分布式文件系统的文件删除系统结构示意图。

相应地，本发明一种实施方式还提供了一种基于分布式文件系统的文件删除系统，包括：

删除文件处理模块1，用于将分布式文件系统中被删除的第一文件置为删除保留状态；

第一判断模块2，用于判断当前分布式文件系统是否处于写入第二文件状态；

第二判断模块3，用于在第一判断模块判定当前分布式文件系统处于写入第二文件状态时，判断当前是否存在处于删除保留状态的第一文件；

写入文件处理模块4，用于在第二判断模块判定当前存在处于删除保留状态的第一文件时，控制第二文件重用处于删除保留状态的第一文件的元数据和数据分布信息。

在本实施方式中，在删除文件时，对该删除的文件保留元数据及数据分布，以留给后续的新写入文件使用，无需真正释放该删除文件所占用的空间，当写入同类型的新文件时，通过重用该删除文件的元数据和数据分布的方式，使写入的新文件使用删除文件的空间，从而避免了释放删除文件空间所带来的系统资源消耗和性能消耗，以达到提升系统性能的目的。

进一步地，该系统还包括：文件类型获取模块，用于响应用户的操作，预先获取删除文件的指定类型；

第三判断模块，用于判断分布式文件系统中被删除的第一文件的类型是否为所述指定类型，并在判定所述第一文件的类型为所述指定类型时控制所述删除文件处理模块动作；

第四判断模块，用于判断所述第二文件的类型是否为所述指定类型，并在判定所述第二文件的类型为所述指定类型时，控制所述第二判断模块动作。

在本实施方式中，文件类型获取模块、第三判断模块和第四判断模块的设置，使得当被删除的第一文件的类型为指定类型时才在该第一文件被删除时置于删除保留状态。当然指定类型可以是一个也可以是多个指定的类型，即可根据不同的指定类型对处于删除保留状态的各第一文件进行分类。当分布式系统处于写入第二文件状态时，判断该第二文件是否为上述指定类型，若是，则在存在处于删除保留状态的第一文件的情况下，则控制该第二文件重用处于删除保留状态的第一文件的元数据和数据分布信息。当然，若设置了多个指定类型，则需要判定该第二文件属于哪个指定类型，在后续写入过程中，控制该第二文件优先重用和该第二文件指定类型相同的第一文件的元数据和数据分布信息。这是由于当第二文件和第一文件的文件类型相同时，可以提高其重用的效率。

进一步地，删除文件处理模块包括：删除文件移动单元，用于将第一文件移动至预设位置；元数据重置单元，用于重置第一文件的元数据，将第一文件的大小设置为0；数据分布保留单元，用于保留第一文件的数据分布信息。

在后续写入新的指定类型的文件时，删除文件的元数据已经将文件大小设置为0，所以系统会认为当前是新写入数据，而不是修改写，从而避免在新文件写入过程中读取原有数据。

在本发明的一种实施方式中，写入文件处理模块包括：第一判断单元，用于判断第二文件所占空间是否小于该第一文件所占空间；第一写入文件处理单元，用于在第一判断单元判定第二文件所占空间小于该第一文件所占空间时，控制第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的存储空间，并将该第一文件原存储空间在第二文件写入完成后剩余的空间进行释放；第二写入文件处理单元，用于在第一判断单元判定第二文件所占空间不小于该第一文件所占空间时，控制第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的全部存储空间，并将第二文件占用该第一文件的全部存储空间后剩余的文件内容存储在空闲存储空间。

当第二文件所占的空间小于该第一文件所占空间时，将第二文件写入完成时，第一文件的原存储空间仍有剩余，为了有效利用剩余空间，此时将剩余的空间进行释放。

当第二文件所占的空间等于第一文件所占的空间时，这是最理想的状态，只需将第二文件完全占用第一文件的原空间即可。但是有时第二文件所占的空间大于第一文件所占空间，当第二文件完全占用了第一文件的原空间后，第二文件仍未写入完成，此时需要调用其他空闲空间以供第二文件继续写入，直至第二文件写入完成。

综上所述，本发明所提供的基于分布式文件系统的文件删除方法和系统，在删除文件时，被删除文件的元数据和数据分布在该文件删除时并不真正删除，而是用于在新文件写入时重用，以保证新文件可以写入到该删除文件原有的文件空间，取消实际释放存储空间的操作，大大降低删除文件时释放该文件的存储空间对系统资源的消耗。

以上对本发明所提供的一种基于分布式文件系统的文件删除方法和系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种基于分布式文件系统的文件删除方法，其特征在于，包括：

将分布式文件系统中被删除的第一文件置为删除保留状态；

判断当前所述分布式文件系统是否处于写入第二文件状态；

若是，则判断当前是否存在处于删除保留状态的第一文件；

若是，则控制所述第二文件重用所述处于删除保留状态的第一文件的元数据和数据分布信息。

2.根据权利要求1所述的方法，其特征在于，在将分布式文件系统中被删除的第一文件置为删除保留状态之前，还包括：预先获取删除文件的指定类型；判断分布式文件系统中被删除的第一文件的类型是否为所述指定类型；若是，则执行将分布式文件系统中被删除的第一文件置为删除保留状态的步骤；

其中，在判断当前是否存在处于删除保留状态的第一文件之前，还包括：判断所述第二文件的类型是否为所述指定类型；若是，则执行判断当前是否存在处于删除保留状态的第一文件的步骤。

3.根据权利要求2所述的方法，其特征在于，所述将分布式文件系统中被删除的第一文件置为删除保留状态，包括：

将所述分布式文件系统中被删除的第一文件移动至预设位置；

重置所述第一文件的元数据，将所述第一文件的大小设置为0；

保留所述第一文件的数据分布信息。

4.根据权利要求3所述的方法，其特征在于，所述控制所述第二文件重用所述处于删除保留状态的第一文件的元数据和数据分布信息，包括：

判断所述第二文件所占空间是否小于该第一文件所占空间；

若是，则控制所述第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的存储空间，并将该第一文件原存储空间在所述第二文件写入完成后剩余的空间进行释放；

若否，则控制所述第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的全部存储空间，并将所述第二文件占用该第一文件的全部存储空间后剩余的文件内容存储在空闲存储空间。

5.根据权利要求4所述的方法，其特征在于，所述保留所述第一文件的数据分布信息，包括：

保留所述第一文件的将数据存储至对应存储空间的映射信息。

6.一种基于分布式文件系统的文件删除系统，其特征在于，包括：

删除文件处理模块，用于将分布式文件系统中被删除的第一文件置为删除保留状态；

第一判断模块，用于判断当前所述分布式文件系统是否处于写入第二文件状态；

第二判断模块，用于在所述第一判断模块判定当前所述分布式文件系统处于写入第二文件状态时，判断当前是否存在处于删除保留状态的第一文件；

写入文件处理模块，用于在所述第二判断模块判定当前存在处于删除保留状态的第一文件时，控制所述第二文件重用所述处于删除保留状态的第一文件的元数据和数据分布信息。

7.根据权利要求6所述的系统，其特征在于，还包括：

文件类型获取模块，用于响应用户的操作，预先获取删除文件的指定类型；

第三判断模块，用于判断分布式文件系统中被删除的第一文件的类型是否为所述指定类型，并在判定所述第一文件的类型为所述指定类型时控制所述删除文件处理模块动作；

第四判断模块，用于判断所述第二文件的类型是否为所述指定类型，并在判定所述第二文件的类型为所述指定类型时，控制所述第二判断模块动作。

8.根据权利要求7所述的系统，其特征在于，所述删除文件处理模块包括：

删除文件移动单元，用于将所述第一文件移动至预设位置；

元数据重置单元，用于重置所述第一文件的元数据，将所述第一文件的大小设置为0；

数据分布保留单元，用于保留所述第一文件的数据分布信息。

9.根据权利要求8所述的系统，其特征在于，所述写入文件处理模块包括：

第一判断单元，用于判断所述第二文件所占空间是否小于该第一文件所占空间；

第一写入文件处理单元，用于在所述第一判断单元判定所述第二文件所占空间小于该第一文件所占空间时，控制所述第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的存储空间，并将该第一文件原存储空间在所述第二文件写入完成后剩余的空间进行释放；

第二写入文件处理单元，用于在所述第一判断单元判定所述第二文件所占空间不小于该第一文件所占空间时，控制所述第二文件重用该第一文件的元数据和数据分布信息，占用该第一文件的全部存储空间，并将所述第二文件占用该第一文件的全部存储空间后剩余的文件内容存储在空闲存储空间。