CN108932271B

CN108932271B - 一种文件管理方法及装置

Info

Publication number: CN108932271B
Application number: CN201710392689.0A
Authority: CN
Inventors: 师敏华; 曾宪铎; 张培良
Original assignee: Datang Mobile Communications Equipment Co Ltd
Current assignee: Datang Mobile Communications Equipment Co Ltd
Priority date: 2017-05-27
Filing date: 2017-05-27
Publication date: 2021-04-16
Anticipated expiration: 2037-05-27
Also published as: CN108932271A

Abstract

本申请公开了一种文件管理方法及装置，涉及数据存储技术领域。本申请中，在需要创建文件时，根据内存中的文件信息链表获取文件信息链表中的文件信息节点所对应的所有文件的大小，并根据所有文件的大小判断是否满足文件存储空间的配额要求；若满足，则创建文件，并在所述文件信息链表中插入该文件对应的文件信息节点；若不满足，则根据所述文件信息链表、按照文件保存时间从早到晚的顺序删除一个或多个文件，创建文件并在所述文件信息链表中插入该文件对应的文件信息节点。采用本申请，可减少存储介质扫描操作，进而提高文件管理效率。

Description

一种文件管理方法及装置

技术领域

本发明涉及数据存储技术领域，尤其涉及一种文件管理方法及装置。

背景技术

很多通信主设备都是一种由多个单板组成的分布式系统，在整个系统中，有一块全局控制板，其他的单板被称为外围板。通常情况下，出于成本等方面的需要，外围板不会部署大容量的磁盘存储系统，而只有全局控制板上才会部署大容量的磁盘，用来保存设备的相关信息，这其中就包括系统日志文件。在大型通信设备中，会产生很多种类、很多数量的日志信息，比如，程序运行中自身产生的一些异常或者有意义的信息、设备本身产生的告警信息、设备中的信令交互信息等。

由于外围板上没有磁盘，所以需要记录日志信息时，将日志信息通过设备内部网络以消息的形式发送到全局控制板上，全局控制板将其写入磁盘保存。保存日志信息时，可根据不同的日志类型，将日志信息写入文件，将文件保存在特定目录下，并且对其实施配额管理。

上述文件管理过程中，需要通过一次或多次扫描磁盘以进行目录遍历，从而判断是否满足配额要求。但是进行磁盘扫描较为耗时，导致文件管理效率较低。

发明内容

本申请实施例提供一种文件管理方法及装置，用以减少存储介质扫描操作，进而提高文件管理效率。

本申请实施例提供的文件管理方法，包括：

在需要创建文件时，根据内存中的文件信息链表获取所述文件信息链表中的文件信息节点所对应的所有文件的大小，并根据所有文件的大小判断是否满足文件存储空间的配额要求；所述文件信息链表中的一个文件信息节点对应一个文件，一个文件信息节点用于保存对应文件占用的存储空间大小，所有文件信息节点按照文件保存时间的先后顺序排序；

若满足，则创建文件，并在所述文件信息链表中插入该文件对应的文件信息节点；

若不满足，则根据所述文件信息链表、按照文件保存时间从早到晚的顺序删除一个或多个文件，创建文件并在所述文件信息链表中插入该文件对应的文件信息节点。

本申请实施例提供的文件管理装置，包括：

判断模块，用于在需要创建文件时，根据内存中的文件信息链表获取所述文件信息链表中的文件信息节点所对应的所有文件的大小，并根据所有文件的大小判断是否满足文件存储空间的配额要求；所述文件信息链表中的一个文件信息节点对应一个文件，一个文件信息节点用于保存对应文件占用的存储空间大小，所有文件信息节点按照文件保存时间的先后顺序排序；

文件管理模块，用于在所述判断模块判决为满足文件存储空间的配额要求时，创建文件并在所述文件信息链表中插入该文件对应的文件信息节点；在所述判断模块判决不满足文件存储空间的配额要求时，根据所述文件信息链表、按照文件保存时间从早到晚的顺序删除一个或多个文件，创建文件并在所述文件信息链表中插入该文件对应的文件信息节点。

本申请的上述实施例中，在需要创建文件时，根据内存中的文件信息链表获取所述文件信息链表中的文件信息节点所对应的所有文件的大小，并根据所有文件的大小判断是否满足文件存储空间的配额要求；若满足，则创建文件，否则，根据所述文件信息链表、按照文件保存时间从早到晚的顺序删除一个或多个文件，然后再创建文件。由于文件信息链表存储于内存，因此在需要创建文件时，可根据内存中的文件信息链表判断是否满足文件存储空间的配额要求，与现有技术中通过扫描磁盘的方式判断是否满足配额要求相比，可以减少存储介质扫描操作，进而可提高文件管理效率。

附图说明

图1为本申请实施例适用的应用场景示意图；

图2为本申请实施例中的文件信息链表示意图；

图3为本申请实施例提供的文件信息链表创建流程示意图；

图4为本申请实施例提供的文件管理流程示意图；

图5A、图5B为本申请实施例中创建文件以及插入文件信息节点前后的文件信息链表示意图；

图6为本申请实施例中删除一个或多个文件以满足存储空间配额要求的流程示意图；

图7A、图7B为本申请实施例中删除文件以及拆出文件信息节点过程中的文件信息链表示意图；

图8为本申请实施例提供的文件管理装置的结构示意图。

具体实施方式

本申请实施例可适用于分布式通信设备的日志文件管理。图1示例性地示出了一种分布式通信设备的结构。如图所示，分布式通信设备中包括一个全局控制板10和n个(n为大于1的整数)外围板11。存储系统12部署在全局主控板10上。该存储系统12可以是大容量的磁盘。各外围板11可将日志数据通过该设备内部网络以消息形式传输给全局控制板10，全局控制板10将接收到的日志数据以日志文件形式存储于存储系统12。

以上仅为本申请实施例所使用的典型场景，本申请实施例可适用于任何需要进行文件存储和管理的场景。

为了在创建文件时，避免频繁的扫描磁盘来判断是否满足文件存储空间的配额要求，本申请实施例通过在内存中创建文件信息链表，将文件信息存放在内存中，这样只需要对内存中的文件信息链表进行扫描即可判断文件存储空间是否满足配额要求，从而避免和减少了对磁盘等存储介质的扫描，提高了文件管理效率。

文件信息链表中包括一个或多个文件信息节点，文件信息链表中的一个文件信息节点对应一个文件，一个文件信息节点用于保存对应文件占用的存储空间大小，所有文件信息节点按照文件保存时间的先后顺序排序。

图2示例性地示出了一种文件信息链表。如图所示，该文件信息链表可以是具有首节点和尾节点的双向链表，首节点和尾节点之间为N个文件信息节点。这N个文件信息节点中的每个文件信息节点对应一个文件，不同的文件信息节点对应不同的文件。一个文件信息节点用来保存文件信息。具体地，一个文件信息节点所保存的文件信息可包括文件的标识信息(比如文件名称)、文件所占用的存储空间大小，可选地，还可包括文件的创建时间、文件的保存时间。其中，文件的保存时间是指对文件写数据操作结束时进行文件保存的时间。

可选地，上述N个文件信息节点可按照文件保存时间进行排序。比如，首节点的后级节点(图2中的文件信息节点1)所对应的文件保存时间为这N个文件中保存时间最早的，以此类推，尾节点之前的节点(图2中的文件信息节点n)所对应的文件保存时间为这N个文件中保存时间最晚的。

可选地，一个文件信息节点所对应的文件可以是空文件，相应地，该文件信息节点所存储的文件信息为空(如图2中表示为Null的文件信息节点)。

可选地，文件信息链表中文件信息节点的数量可根据单个文件占用的存储空间配额、总的存储空间配额来计算。进一步地，还可结合内存中的缓冲区大小来确定，该缓冲区用于缓存待存入存储介质的文件数据。以分布式通信设备为例，外围板通过消息方式发送给全局板控制板的日志数据通常是采用缓冲方式发送，也就是说，数据需要积攒到一定的量(也需要进行定时)才发送成块的数据给全局控制板，而全局控制板接收到数据也不一定就立即进行写入磁盘的操作。因为为了提高写磁盘的效率，往往也是先在内存中进行缓冲，等到一定的量的时候，再将成块的数据写入磁盘。这样的话，在写入文件时，假设文件现有大小加上需要追加写入的块的大小已经超过4MB(单个文件的存储空间配额为4MB)，此刻也立即进行截断再创建新文件，而是将日志数据写入日志文件。如此的话，单个文件的大小就会超过4MB，超过多少具体可视全局控制板上缓冲区大小，比如，全局控制板上缓冲区为512KB，那么单个文件大小就可能在4MB到4.5MB之间。

根据上述示例，如果磁盘配额为200MB(即总的存储空间配额为200MB)，单个文件的存储空间配额为4MB的情况下，最多可以存储50个文件。那么可以在内存中创建具有50个文件信息节点的、并且具有首尾节点的、双向的文件信息链表，用来保存日志文件信息。

可选地，可在文件信息链表中设置当前节点标记，该标记所指向的文件信息节点为最新(或最晚)保存的文件所对应的文件信息节点。如果文件信息节点可按照文件保存时间进行排序，则该标记所指向的文件信息节点所对应的文件为最后一个不为空的文件。

本申请实施例中，文件信息链表可在系统初始化时创建，并可在文件创建、删除等文件管理过程中自动更新。

图3示例性地示出了文件信息链表的创建流程。当系统初始化启动时候，可通过以下过程实现文件信息链表的创建，创建的文件信息链表保存在内存中。以分布式通信设备为例，该流程可在分布式通信设备的全局控制板上执行。如图所示，该流程可包括如下步骤：

S301：遍历存储介质中指定目录下的所有文件，并根据文件保存时间的先后顺序排序。

遍历该日志目录下的所有日志文件，并根据文件的结束时间进行排序。

S302：判断指定目录下的文件数量是否超过总的文件存储空间配额所对应的文件数量M，若超过，则转入步骤S303，否则转入步骤S304。

S303：保留该指定目录下文件保存时间距离当前时间最近的M个文件，并根据所述M个文件的文件信息生成文件信息链表。

S304：保留该指定目录下的所有文件，并根据该指定目录下的所有文件的文件信息生成文件信息链表。

以上述例子中，磁盘配额为200MB(即总的存储空间配额为200MB)，单个文件的存储空间配额为4MB的情况下，最多可以存储50个文件为例，在S302中，若判断日志文件目录下的日志文件数量超过50个，则在S303中，对该日志文件目录下的所有文件按照保存时间从早到晚排序，将排序在后的50个日志文件保留，将其余日志文件删除，并根据这50个日志文件的信息创建文件信息链表。若在S302中，判断日志文件目录下的日志文件数量少于50个，比如为45个，则在S304中，根据这45个日志文件的信息创建文件信息链表。

进一步地，在生成文件信息链表后，可设置一个当前节点标记，该标记指向保存最后一个文件也就是最新的一个文件信息的信息节点。

当然，在实际应用实现中，上述步骤中遍历存储介质以及在文件信息链表中插入文件信息节点的过程可同时进行。

图4示例性的示出了文件管理流程示意图。以分布式通信设备为例，该流程可由全局控制板执行。当系统运行过程中需要创建文件时，可执行以下流程：

S401：获取内存中的文件信息链表。

S402：根据该文件信息链表获取该文件信息链表中的文件信息节点所对应的所有文件的大小。由于文件信息链表的文件信息节点中保存有文件大小的信息，因此可通过遍历该文件信息链表中的文件信息节点，获取到对应文件占用的总存储空间的大小。

S403：根据所有文件的大小判断是否满足文件存储空间的配额要求；若满足，则转入S404，否则转入S405。

该步骤中，若所有文件的大小、单文件的存储空间配额大小以及文件数据缓冲区的大小之和，未超过总的文件存储空间配额，则判决为满足文件存储空间的配额要求，否则，判决为不满足文件存储空间的配额要求。以上述例子中，磁盘配额为200MB(即总的存储空间配额为200MB)，单个文件的存储空间配额为4MB，缓冲区大小为512KB为例，如果根据文件信息链表中的文件信息节点确定出的所有文件大小为100MB，则由于100MB+4MB+512KB之和小于200MB，因此满足文件存储空间的配额要求。如果根据文件信息链表中的文件信息节点确定出的所有文件大小为199MB，则由于199MB+4MB+512KB之和大于200MB，因此不满足文件存储空间的配额要求。

S404：创建文件，并在文件信息链表中插入该文件对应的文件信息节点。

该步骤中，可根据文件信息链表中的当前节点标记找到该标记所指向的节点，在该节点之后插入一新的节点，该新的节点用于存储所创建的文件的信息，并设置该新的节点为当前节点(即，将当前节点标记指向该新的节点)。

图5A和图5B示例性地示出了插入新的文件信息节点前后的文件信息链表。文件信息节点的序号大小代表了文件的新旧程度，数字越小，文件越旧，数字越大，文件越新；NULL表示该节点为空闲节点，没有保存任何文件信息。其中，在图5A中，当前节点标记指向节点N，在图5B中，在节点N后插入文件信息节点N+1之后，将当前节点标记设置为指向文件信息节点N+1。

S405：根据文件信息链表、按照文件保存时间从早到晚的顺序删除一个或多个文件，创建文件并在文件信息链表中插入该文件对应的文件信息节点。

该步骤中，删除文件后，使得文件信息链表中的文件信息节点所对应的所有文件的大小满足文件存储空间的配额要求。其中，如果删除一个文件后仍不满足文件存储空间的配额要求，则再删除一个文件，以此类推，直到满足文件存储空间的配额要求为止。上述过程可如图6所示。

图6中的步骤A中，将文件信息链表中头节点的后继节点所对应的文件删除，将所述后继节点从文件信息链表中拆出，将拆出的文件信息节点插入到尾节点之前。在图6的步骤B中，根据步骤A完成之后形成的文件信息链表获取所有文件的大小，并根据所有文件的大小判断是否满足文件存储空间的配额要求，若满足，则转入步骤步骤C，否则转入步骤A。在图6的步骤C中，结束本流程。

图7A和图7B示例性地示出了上述步骤A中删除文件的过程中，文件信息链表的变化。文件信息节点的序号大小代表了文件的新旧程度，数字越小，文件越旧，数字越大，文件越新；NULL表示该节点为空闲节点，没有保存任何文件信息。如图7A所示，找到文件信息链表中头节点的后继节点(图中的文件信息节点1)，将文件信息节点1所对应的文件删除，将文件信息节点1从文件信息链表中拆出，拆出后的文件信息节点表示为Null。如图7B所示，将拆出的节点插入到尾节点之前，得到新的文件信息链表。

通过以上流程可以看出，在需要获取指定目录下所有日志文件的相关信息时，比如文件名、占用空间、创建时间等都直接在该链表上查找即可，不需要再扫描磁盘了。另外，通过直接在文件信息链表中一次排序，也避免了每次查找最旧文件的过程，只需要从头节点依次删除对应文件即可。另外，对于新创建的文件，也可直接在当前节点后边添加即可。

基于相同的技术构思，本申请实施例还提供了一种文件管理装置，该装置可实现前述实施例描述的文件管理流程。

参见图8，为本申请实施例提供的文件管理装置的结构示意图。以分布式通信设备为例，该装置可部署在全局控制板上。

如图所示，该装置可包括：判断模块801、文件管理模块802，进一步地，还可包括初始化模块803，其中：

判断模块801，用于在需要创建文件时，根据内存中的文件信息链表获取所述文件信息链表中的文件信息节点所对应的所有文件的大小，并根据所有文件的大小判断是否满足文件存储空间的配额要求；所述文件信息链表中的一个文件信息节点对应一个文件，一个文件信息节点用于保存对应文件占用的存储空间大小，所有文件信息节点按照文件保存时间的先后顺序排序；

文件管理模块802，用于在所述判断模块判决为满足文件存储空间的配额要求时，创建文件并在所述文件信息链表中插入该文件对应的文件信息节点；在所述判断模块判决不满足文件存储空间的配额要求时，根据所述文件信息链表、按照文件保存时间从早到晚的顺序删除一个或多个文件，创建文件并在所述文件信息链表中插入该文件对应的文件信息节点。

可选地，所述文件信息链表中依次包括头节点、按照文件保存时间从早到晚排序的文件信息节点以及尾节点。文件管理模块802具体用于执行以下流程：

步骤A：将文件信息链表中头节点的后继节点所对应的文件删除，将所述后继节点从所述文件信息链表中拆出，将拆出的文件信息节点插入到尾节点之前；

步骤B：根据步骤A完成之后形成的文件信息链表获取所有文件的大小，并根据所有文件的大小判断是否满足文件存储空间的配额要求，若满足，则转入步骤C，否则转入步骤A；

步骤C：结束本流程。

可选地，判断模块801具体用于：若所有文件的大小、单文件的存储空间配额大小以及文件数据缓冲区的大小之和，未超过总的文件存储空间配额，则判决为满足文件存储空间的配额要求，否则，判决为不满足文件存储空间的配额要求。

可选地，初始化模块803，用于遍历存储介质中指定目录下的所有文件，并根据文件保存时间的先后顺序排序；若所述指定目录下的文件数量超过M，则保留所述指定目录下文件保存时间距离当前时间最近的M个文件，并根据所述M个文件的文件信息生成文件信息链表，其中，M为总的文件存储空间配额所对应的文件数量，M为大于等于1的整数；否则，保留所述指定目录下的所有文件，并根据所述指定目录下的所有文件的文件信息生成文件信息链表。

综上所述，本申请的上述实施例中，在需要创建文件时，根据内存中的文件信息链表获取所述文件信息链表中的文件信息节点所对应的所有文件的大小，并根据所有文件的大小判断是否满足文件存储空间的配额要求；若满足，则创建文件，否则，根据所述文件信息链表、按照文件保存时间从早到晚的顺序删除一个或多个文件，然后再创建文件。由于文件信息链表存储于内存，因此在需要创建文件时，可根据内存中的文件信息链表判断是否满足文件存储空间的配额要求，与现有技术中通过扫描磁盘的方式判断是否满足配额要求相比，可以减少存储介质扫描操作，进而可提高文件管理效率。另一方面，由于减少对存储介质的扫描操作，因此与现有技术相比，可延迟存储介质的使用寿命。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种文件管理方法，其特征在于，包括：

在需要创建文件时，根据内存中的文件信息链表获取所述文件信息链表中的文件信息节点所对应的所有文件的大小，并根据所有文件的大小判断是否满足文件存储空间的配额要求；所述文件信息链表中依次包括头节点、按照文件保存时间从早到晚排序的文件信息节点以及尾节点，所述文件信息链表中的一个文件信息节点对应一个文件，一个文件信息节点用于保存对应文件占用的存储空间大小，所有文件信息节点按照文件保存时间的先后顺序排序；

若不满足，则根据所述文件信息链表、按照文件保存时间从早到晚的顺序删除一个或多个文件，创建文件并在所述文件信息链表中插入该文件对应的文件信息节点；

其中，根据所述文件信息链表、按照文件保存时间从早到晚的顺序删除一个或多个文件，包括：

步骤C：结束本流程。

2.如权利要求1所述的方法，其特征在于，根据所有文件的大小判断是否满足文件存储空间的配额要求，包括：

若所有文件的大小、单文件的存储空间配额大小以及文件数据缓冲区的大小之和，未超过总的文件存储空间配额，则判决为满足文件存储空间的配额要求，否则，判决为不满足文件存储空间的配额要求。

3.如权利要求1所述的方法，其特征在于，还包括在系统初始化时执行：

遍历存储介质中指定目录下的所有文件，并根据文件保存时间的先后顺序排序；

若所述指定目录下的文件数量超过M，则保留所述指定目录下文件保存时间距离当前时间最近的M个文件，并根据所述M个文件的文件信息生成文件信息链表；其中，M为总的文件存储空间配额所对应的文件数量，M为大于等于1的整数；

否则，保留所述指定目录下的所有文件，并根据所述指定目录下的所有文件的文件信息生成文件信息链表。

4.如权利要求1所述的方法，其特征在于，所述文件信息节点还用于保存对应文件的文件名称、创建时间、文件保存时间。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述文件为分布式通信设备中的各个单板生成的日志文件。

6.一种文件管理装置，其特征在于，包括：

判断模块，用于在需要创建文件时，根据内存中的文件信息链表获取所述文件信息链表中的文件信息节点所对应的所有文件的大小，并根据所有文件的大小判断是否满足文件存储空间的配额要求；所述文件信息链表中依次包括头节点、按照文件保存时间从早到晚排序的文件信息节点以及尾节点，所述文件信息链表中的一个文件信息节点对应一个文件，一个文件信息节点用于保存对应文件占用的存储空间大小，所有文件信息节点按照文件保存时间的先后顺序排序；

文件管理模块，用于在所述判断模块判决为满足文件存储空间的配额要求时，创建文件并在所述文件信息链表中插入该文件对应的文件信息节点；在所述判断模块判决不满足文件存储空间的配额要求时，根据所述文件信息链表、按照文件保存时间从早到晚的顺序删除一个或多个文件，创建文件并在所述文件信息链表中插入该文件对应的文件信息节点；

所述文件管理模块具体用于执行以下流程：

步骤C：结束本流程。

7.如权利要求6所述的装置，其特征在于，所述判断模块具体用于：

8.如权利要求6至7中任一项所述的装置，其特征在于，还包括：

初始化模块，用于遍历存储介质中指定目录下的所有文件，并根据文件保存时间的先后顺序排序；若所述指定目录下的文件数量超过M，则保留所述指定目录下文件保存时间距离当前时间最近的M个文件，并根据所述M个文件的文件信息生成文件信息链表，其中，M为总的文件存储空间配额所对应的文件数量，M为大于等于1的整数；否则，保留所述指定目录下的所有文件，并根据所述指定目录下的所有文件的文件信息生成文件信息链表。