CN111198856B - 文件管理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种文件管理方法、装置、计算机设备和存储介质。该方法包括：获取待存储的子文件；按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；将所述文件包按照预设的落盘条件落盘存储；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同。采用本方法能够减少磁盘操作次数，节约系统资源。

Description

文件管理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种文件管理方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，人们生产和生活中涉及到的数据量越来越多，因此对于数据的有效存储和读取成为了提高人们作业效率所关注的重点方向。例如在公安的监控系统中，常常涉及对监控设备获取的视图库的管理。

以视图库的管理为例，视图库在进行存储的时候，是按照一个一个的小文件的采集时间顺序，依次存入一个文件包，也即将各个类型的小文件混合存入一个文件包。各个类型的小文件生命周期不同，当文件包中某个小文件到达生命周期而被删除时，该文件包中的其他小文件可能还未达到生命周期而不能删除，这将导致整个文件包所在存储空间都无法被回收。此时，虽然可通过将未被删除的小文件拷贝到新的文件包后再将当前文件包删除，但是这样操作需要遍历整个文件包并读取未删除的小文件，再将其写入新的文件包，会消耗大量系统资源。

发明内容

基于此，有必要针对上述技术问题，提供一种节约系统资源且高效的文件管理方法、装置、计算机设备和存储介质。

第一方面，本申请实施例提供一种文件管理方法，所述方法包括：

获取待存储的子文件；

按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；

将所述文件包按照预设的落盘条件落盘存储

在其中一个实施例中，所述按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包，包括：

获取已有文件包对应的文件类型集合；

若所述文件类型集合中存在所述目标文件类型，且所述目标文件类型对应的已有文件包未满，则将所述子文件缓存在与所述目标文件类型对应的目标文件包中；

若所述文件类型集合中不存在所述目标文件类型或所述目标文件类型对应的已有文件包已满，则根据所述目标文件类型创建目标文件包，并将所述子文件缓存在与所述目标文件类型对应的所述目标文件包中。

在其中一个实施例中，所述子文件按照预设结构进行缓存，所述预设结构依次包括：文件前缀、文件标识、文件大小、文件数据内容和循环冗余CRC校验码；其中，所述文件前缀用于区分一个子文件的开始。

在其中一个实施例中，所述方法还包括：

构建所述子文件的索引信息；其中，所述索引信息包括：文件标识、文件归属于的文件包标识、文件大小、相对于所在文件包的文件偏移量、是否删除标识、文件类型、入库时间，所述入库时间用于表征所述子文件存入文件包的时间；

根据所述索引信息更新未存入所述子文件对应的文件包的未存入索引信息表和索引信息表。

在其中一个实施例中，所述将所述文件包按照预设的落盘条件落盘存储，包括：

当所述文件包的大小大于或等于预设的文件包容量阈值时，将所述文件包落盘存储；或者

当所述文件包自创建以来的创建时长大于或等于预设的文件包的落盘周期阈值时，将所述文件包落盘存储；

返回文件落盘成功信息，并清除所述文件包对应的所述未存入索引信息表。

在其中一个实施例中，所述方法还包括：

接收用户端发送的待读取子文件的文件标识；

根据所述待读取子文件的文件标识，在所述索引信息表中进行查找，得到所述待读取子文件的索引信息；

获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量；

根据所述目标文件包的文件包标识、以及所述待读取子文件相对于所述目标文件包的文件偏移量，读取所述待读取子文件。

在其中一个实施例中，所述获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量之前，还包括：

获取所述待读取子文件的索引信息中所述是否删除标识的目标特征值；

若所述目标特征值为第一预设值，则返回子文件不存在结果；

若所述目标特征值为第二预设值，则执行获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量的步骤。

在其中一个实施例中，所述方法还包括：

当所述文件包中所有子文件的存储时长达到所述生命周期时，删除所述文件包中的子文件并释放所述文件包的存储空间；其中，所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长。

在其中一个实施例中，所述方法还包括：

接收用户端发送的待删除子文件的文件标识；

根据所述待删除子文件的文件标识查询所述索引信息表，将所述待删除子文件的是否删除标识的特征值设置为第一预设值；

当满足以下条件至少之一，删除所述文件包中的子文件并释放所述文件包的存储空间：

所述待删除子文件所在文件包的所有子文件的是否删除标识的特征值均为第一预设值；

所述待删除子文件所在文件包中的所有未删除子文件的存储时长均达到所述生命周期；所述未删除子文件为是否删除标识的特征值为第二预设值的子文件，所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长。

在其中一个实施例中，所述方法还包括：

当接收到服务重启指令时，遍历所述未存入索引信息表以获取所述未存入索引信息表中子文件的文件标识；

根据所述未存入索引信息表中的文件标识，从缓存服务中获取所述待存储的子文件，并将所述待存储子文件缓存在与所述目标文件类型对应的文件包中。

第二方面，本申请实施例提供一种文件管理装置，所述装置包括：

获取模块，用于获取待存储的子文件；

处理模块，用于按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；

存储模块，用于将所述文件包按照预设的落盘条件落盘存储

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待存储的子文件；

按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；

将所述文件包按照预设的落盘条件落盘存储。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待存储的子文件；

按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；

将所述文件包按照预设的落盘条件落盘存储。

上述文件管理方法、装置、计算机设备和存储介质，计算机设备通过获取待存储的子文件，并按照子文件的目标文件类型，将子文件缓存在与目标文件类型对应的文件包中，将具有不同生命周期的不同类型的子文件分别按照不同文件包进行落盘，以及将具有相同生命周期的相同类型的子文件在相同的文件包中进行落盘，因此能够对具有相同生命周期的子文件进行统一管理，对具有不同生命周期的子文件进行独立管理，能够使得文件管理基于不同类型子文件的不同生命周期进行，相比传统的按照子文件获取时间进行文件管理的方式，该方法更便于磁盘空间的管理，因而大大提高了磁盘的空间利用率。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例提供的文件管理方法的流程示意图；

图3为另一个实施例提供的文件管理方法的流程示意图；

图4为一个实施例提供的子文件的预设结构的结构示意图；

图5为又一个实施例提供的文件管理方法的流程示意图；

图6为又一个实施例提供的文件管理方法的流程示意图；

图7为一个实施例提供的文件管理装置的结构示意图；

图8为又一个实施例提供的文件管理装置的结构示意图；

图9为又一个实施例提供的文件管理装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的文件管理方法，可以适用于图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、数据库、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储下述实施例中的待存储的子文件和文件包，有关子文件和文件包的具体描述参见下述实施例中的具体描述。该计算机设备的网络接口可以用于与外部的其他设备通过网络连接通信。可选的，该计算机设备可以是服务器，可以是台式机，可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。当然，输入装置和显示屏也可以不属于计算机设备的一部分，可以是计算机设备的外接设备。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

需要说明的是，下述方法实施例的执行主体可以是文件管理装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为上述计算机设备的部分或者全部。下述方法实施例以执行主体为计算机设备为例进行说明。

图2为一个实施例提供的文件管理方法的流程示意图。本实施例涉及的是计算机设备将子文件按照不同的生命周期存储在对应的文件包的具体过程。如图2所示，包括：

S11、获取待存储的子文件。

具体的，计算机设备可以是接收其他设备发送的待存储的子文件，例如是接收照相机拍摄的通过网络发送的需要进行存储的子文件。需要说明的是，上述待存储的子文件可以包括照相机拍摄的图像，当然也可以是文本文件或者其他数据文件，对此本实施例并不做限定。

S12、按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同。

需要说明的是，上述子文件可以为不同类型的文件，例如可以是人体、机动车、非机动车、物品、场景等不同对象的视频片段或图像，每种类型的子文件都具有其生命周期，不同类型的子文件通常具有不同的生命周期。生命周期可以理解为该类型的子文件具有存在意义的时长，例如人体图像对应的生命周期为1个月，机动车图像对应的生命周期为2个月等，当机动车图像达到其生命周期时，认为该机动车图像过于陈旧，没有使用价值和存在意义，可将其删除。具体的，计算机设备根据上述子文件的目标文件类型，在缓存中查询与目标文件类型对应的文件包，并将该子文件缓存在内存与目标文件类型对应的文件包中。每个文件包中的多个子文件的文件类型相同，因而同一个文件包中的多个子文件具有相同的生命周期；不同的文件包所包括的子文件的文件类型不同，因此不同文件包中的子文件的具有不同的生命周期。

S13、将所述文件包按照预设的落盘条件落盘存储。

具体的，计算机设备可以在预设的落盘条件达到的时候，将上述文件包进行落盘存储，即存储在磁盘上。可选地，上述落盘条件可以是基于时间的条件，例如间隔一定的时间将文件包落盘存储；还可以是基于文件包容量的条件，即文件包的容量满足一定的要求则将文件包落盘存储；还可以是基于文件包中子文件的数量的条件，例如文件包中缓存的子文件的数量达到一定数量的时候将该文件包落盘存储。

本实施例中，计算机设备通过获取待存储的子文件，并按照子文件的目标文件类型，将子文件缓存在与目标文件类型对应的文件包中。将具有不同生命周期的不同类型的子文件分别按照不同文件包进行落盘，以及将具有相同生命周期的相同类型的子文件在相同的文件包中进行落盘，因此能够对具有相同生命周期的子文件进行统一管理，对具有不同生命周期的子文件进行独立管理，能够使得文件管理基于不同类型的子文件的不同生命周期进行，相比传统的按照子文件获取时间进行文件管理的方式，该方法更便于磁盘空间的管理，因而大大提高了磁盘的空间利用率。

可选地，在上述实施例的基础上，上述步骤S12的一种可能的实现方式，可以如图3所示，包括：

S121、获取已有文件包对应的文件类型集合。

具体的，计算机设备可以遍历缓存中的文件包，获取已经存在的已有文件包的文件类型，构成文件类型集合，该文件类型集合中包括多种文件类型。

S122A、若所述文件类型集合中存在所述目标文件类型，且所述目标文件类型对应的已有文件包未满，则将所述子文件缓存在与所述目标文件类型对应的目标文件包中。

当文件类型集合中存在上述待存储子文件的目标文件类型的时候，计算机设备还可以继续判断目标文件类型对应的已有文件包是否存满，如果该文件包的容量还未达到容量上限，即还有空间，则计算机设备可以将该文件包作为目标文件包，并将上述子文件缓存在该目标文件包中。

S122B、若所述文件类型集合中不存在所述目标文件类型或所述目标文件类型对应的已有文件包已满，则根据所述目标文件类型创建目标文件包，并将所述子文件缓存在与所述目标文件类型对应的所述目标文件包中。

当上述文件类型集合中不存在上述待存储子文件的目标文件类型的时候，例如还没有创建过目标文件类型对应的文件包，或者该目标文件类型对应的文件包刚落盘存储，缓存中暂时没有目标文件类型对应的文件包；或者是该目标文件类型对应的已有文件包已经存满，无法容纳更多的子文件，则计算机设备根据这个目标文件类型创建对应的目标文件包，然后将上述子文件缓存在该目标文件包中。可选地，计算机设备可以将上述该目标文件类型对应的已经存满的已有文件包进行落盘存储。可选地，每个文件包的容量可以通过修改对应的配置文件进行更新，本实施例对文件包的容量不做具体限定。

本实施例中，计算机设备通过获取已有文件包对应的文件类型集合，在文件类型集合中存在目标文件类型，且目标文件类型对应的已有文件包未满的时候，将子文件缓存在与目标文件类型对应的目标文件包中；以及当文件类型集合中不存在目标文件类型或目标文件类型对应的已有文件包已满，则根据目标文件类型创建目标文件包，并将子文件缓存在与目标文件类型对应的目标文件包中，因而能够确保在不同情况下自动将子文件按照不同的文件类型存储在目标文件类型对应的文件包中，便于对具有相同文件类型、相同生命周期的子文件进行统一管理。

可选地，在上述实施例的基础上，上述子文件按照预设结构进行缓存，在子文件缓存步骤，按照预设结构缓存在内存中，在落盘后，也相应的按照预设结构存储在磁盘上。需要说明的是，所述预设结构依次包括：文件前缀、文件标识、文件大小、文件数据内容和循环冗余(Cyclic Redundancy Check，CRC)校验码；其中，所述文件前缀用于区分一个子文件的开始。可选地，子文件的预设结构可以参见图4所示。其中，不同的文件前缀可以表征不同类型文件的开始。上述CRC码用于表征该子文件的完整性。本实施例中，采用上述预设结构对子文件进行存储，一方面能够通过查找文件前缀来快速定位子文件，通过文件尾的CRC校验来检验子文件是否被损坏，另一方面无需读取文件数据内容即可快速提供文件标识、文件大小等信息。

可选地，在上述各个实施例的基础上，所述方法还包括存储索引信息的过程，具体可以包括：构建所述子文件的索引信息，并根据所述索引信息更新未存入所述子文件对应的文件包的未存入索引信息表和索引信息表。其中，所述索引信息包括：文件标识、文件归属于的文件包标识、文件大小、相对于所在文件包的文件偏移量、是否删除标识、文件类型、入库时间，所述入库时间用于表征所述子文件存入文件包的时间。具体的，计算机设备在将子文件缓存在文件包之时或之后，还需要根据子文件构建该子文件的索引信息以便于对子文件进行索引。构建索引信息后，计算机设备还根据该索引信息更新缓存中对应该子文件对应文件包的未存入索引信息表和索引信息表，例如将新生成的索引信息添加至该子文件对应文件包的未存入索引信息表和索引信息表。需要说明的是，在本实施例中，对应于一个文件包，在内存中缓存的索引表为两个，一个是索引信息表，另外一个是未存入索引信息表，二者的区别在于，未存入索引信息表存储的是未落盘子文件的索引信息，未存入索引信息表在其对应的文件包未落盘存储之前进行维护，在其对应的文件包落盘存储之后会进行清除；而索引信息表在其对应的文件包落盘存储之后不会清除。需要说明的是，上述索引信息包括文件标识、文件归属于的文件包标识、文件大小、相对于所在文件包的文件偏移量、是否删除标识、文件类型、入库时间，所述入库时间用于表征所述子文件存入文件包的时间。本实施例中，计算机设备构建所述子文件的索引信息，并根据所述索引信息更新未存入所述子文件对应的文件包的未存入索引信息表和索引信息表，通过对未存入索引信息表的维护，可通过查询未存入索引信息表获得未落盘子文件的文件标识，能够避免在发生子文件缓存服务崩溃的时候无法找回未落盘子文件的问题；通过对索引信息表的维护，便于查找已落盘子文件的信息，维护已落盘子文件的状态。可选地，上述索引信息表和未存入索引信息表中的索引信息可以按照键值对的形式进行存储，例如将文件标识作为key，子文件所归属的文件包标识、文件大小、相对于所在文件包的偏移量、是否删除标识、文件类型、入库时间等信息作为value存储在内存数据库中，从而实现结构化的数据存储，便于后续对某个子文件索引信息的快速查找。

可选地，在上述实施例的基础上，所述步骤S13的一种可能的实现方式可以包括：当所述文件包的大小大于或等于预设的文件包容量阈值时，将所述文件包落盘存储；或者当所述文件包自创建以来的创建时长大于或等于预设的文件包的落盘周期阈值时，将所述文件包落盘存储，并返回文件落盘成功信息，并清除所述文件包对应的所述未存入索引信息表。具体的，计算机设备可以判断当前的文件包的大小是否大于或等于文件包容量阈值。当文件包的大小大于或等于文件包容量阈值的时候，则计算机设备认为该文件包已经存满，无法再存储其它的子文件，此时可以将文件包落盘存储；其中，文件包容量阈值可基于设备缓存大小确定；当文件包自从创建以来的创建时长大于预设的落盘周期阈值的时候，即使文件包的大小还未达到上述文件包容量阈值，也可以将文件包落盘存储。本实施例中，基于文件包容量阈值和落盘周期阈值两个维度作为落盘条件，能够避免文件包超大导致的存储不便，和/或避免文件包缓存时间过长导致的数据丢失的问题，用户可根据实际需要选择合适的落盘条件。

可选地，计算机设备可以将上述未存入索引信息表和索引信息表维护在内存数据库中，如此，存储子文件时，只需在子文件所在文件包满足落盘条件时落盘一次，无需实时落盘子文件和索引信息表；读取子文件时，只需从内存数据库中的索引信息表中获取子文件的索引信息，再根据索引信息从磁盘上读取子文件，无需从磁盘中读取子文件的索引信息。

可选地，计算机设备还可以将上述索引信息表按照一定的周期进行落盘存储，即定期持久化。一方面，持久化能够避免因内存数据库崩溃而导致索引信息丢失，另一方面，定期而非实时持久化能够避免实时持久化造成的不断地读写磁盘的操作，进而减少了磁盘操作，降低了资源占用率。

在上述实施例中是针对子文件的存储过程进行的描述，下面将对子文件的读取过程进行详细描述。如图5所示，所述方法还可以包括：

S21、接收用户端发送的待读取子文件的文件标识。

S22、根据所述待读取子文件的文件标识，在所述索引信息表中进行查找，得到所述待读取子文件的索引信息。

S23、获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量。

具体的，计算机设备可以接收用户端发送的待读取子文件的文件标识，例如可以是接收用户端对需要进行读取的子文件的点选指令，基于该文件标识，在上述索引信息表中进行查询(例如通过遍历索引信息表查询，或通过键值对搜索进行查询)，获取待读取子文件对应的索引信息，并从该索引信息中读取得到该待读取子文件所在的目标文件包的文件包标识，和相对于所述目标文件包的文件偏移量，即待读取子文件在目标文件包中的位置。

S24、根据所述目标文件包的文件包标识、以及所述待读取子文件相对于所述目标文件包的文件偏移量，读取所述待读取子文件。

具体的，计算机设备可以按照上述目标文件包的文件包标识查找文件包位置、根据待读取子文件相对于目标文件包的文件偏移量，在该目标文件包的内的文件偏移量对应的位置，读取待读取子文件。

具体的，步骤S22中所述的索引信息表存储在内存数据中的，读取子文件时，只需从内存数据库中的索引信息表中获取子文件的索引信息，再根据索引信息从磁盘上读取子文件，无需从磁盘中读取子文件的索引信息，从而减少了磁盘读写次数。可选地，本步骤S24之前还可以包括：获取所述待读取子文件的索引信息中所述是否删除标识的目标特征值，若所述目标特征值为第一预设值，则返回子文件不存在结果；若所述目标特征值为第二预设值，则执行上述S24步骤。具体的，计算机设备获取待读取子文件的索引信息中的是否删除标识，并读取该是否删除标识的目标特征值，如果目标特征值为第一预设值，例如“1”或者“True”，表征该待读取子文件已被删除，则返回子文件不存在结果。如果上述目标特征值为第二预设值，例如“0”或者“False”，表征该待读取子文件未被删除，则继续执行上述S24的步骤，继续读取该待读取子文件。本实施例中，计算机设备通过判断待读取子文件的索引信息中的是否删除标识的目标特征值，能够在待读取子文件被删除的情况下返回对应的文件不存在结果，以提示用户端该子文件不存在，便于用户知晓当前的情况，避免无效操作，因此方便了用户使用。

可选地，在上述各个实施例的基础上，删除子文件的一种可能的实现方式可以包括：当所述文件包中所有子文件的存储时长达到所述生命周期时，删除所述文件包中的子文件并释放所述文件包的存储空间；其中，所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长。

存储时长是指子文件被存储的时长，存储时长大于生命周期时，说明该子文件已到达生命周期，无使用价值，可以删除。被打包入一个文件包的多个子文件的文件类型相同，相同文件类型的子文件的生命周期相同，到达生命周期的时间相同或相近，可在同一文件包的所有子文件均到达生命周期后对该文件包的所有子文件进行批量删除。而在传统的文件存储方式中，不同类型的子文件被打包入一个文件包，各子文件生命周期不同，到达生命周期的时间不同，会出现大部分子文件都到达生命周期，还有个别子文件未到达生命周期的情况，此时就不能对整个文件包进行删除来实现存储空间回收，只能对各子文件一一遍历查看其是否到达生命周期，等待所有子文件均到达生命周期，或者将未到达生命周期的子文件拷贝到其他文件包后，才能执行本文件包的整体删除操作。

需要说明的是，上述存储时长指子文件被存储的时长，可以是子文件被存储到磁盘的时长，也可以是子文件被存储到缓存的时长。存储时长为子文件被存储到磁盘的时长时，可以将当前时刻距离子文件所在的文件包落盘时刻的时长作为存储时长。此时，由于整个文件包在同一时刻落盘，整个文件包中所有子文件的存储时长相同，生命周期相同，到达生命周期的时刻也就相同。该文件包到达生命周期，也就意味着该文件包中所有子文件都到达生命周期，此时可以将该文件包进行删除并释放对应的存储空间。如此，可以避免对文件包中各子文件一一遍历的操作和将未到达生命周期的子文件拷贝到其他文件包的操作，大大提高了磁盘空间回收效率。存储时长为子文件被存储到缓存的时长时，可以将当前时刻距离所述子文件的入库时间的时长作为存储时长。此时，先缓存入文件包的子文件先到达生命周期，后缓存入文件包的子文件后到达生命周期，当最后缓存入文件包的子文件到达生命周期时，文件包中所有子文件都到达生命周期，此时即可删除所述文件包中的子文件并释放所述文件包的存储空间。若文件包的落盘条件包括“当所述文件包自创建以来的创建时长大于或等于预设的文件包的落盘周期阈值时，将所述文件包落盘存储”，最先缓存入文件包的子文件到达生命周期的时刻和最后缓存入文件包的子文件到达生命周期的时刻相差最多一个落盘周期，也即各子文件到达生命周期的时间相近，不会出现大部分子文件均已到达生命周期，而个别子文件还有较长时间才能到达生命周期的情况。如此，也可避免对文件包中各子文件一一遍历的操作，只需去索引信息表中查看最后缓存入文件包的子文件的入库时间并判断该子文件是否到达生命周期即可判断该文件包是否可以整体删除，也能够提高磁盘空间回收效率。可见，本实施例中，计算机设备可以在文件包中所有子文件的存储时长达到所述生命周期时，删除文件包中的子文件并释放文件包的存储空间。而文件包中所有子文件的存储时长是否达到生命周期可以通过文件包整体是否到达生命周期或最后缓存入文件包的子文件是否到达生命周期来判断，无需遍历读取文件包和进行文件拷贝就能够实现文件删除和存储空间的回收，因此极大地减少了操作，节约了系统资源，同时实现了及时删除过期的子文件并同步释放存储空间的资源，使得文件管理更为有序，存储资源的利用率进一步提高。

可选地，在上述各个实施例的基础上，删除子文件的另一种可能的实现方式可以如图6所示，包括：

S31、接收用户端发送的待删除子文件的文件标识。

S32、根据所述待删除子文件的文件标识查询所述索引信息表，将所述待删除子文件的是否删除标识的特征值设置为第一预设值。

具体的，计算机设备接收用户端发送的待删除子文件的文件标识，例如可以是接收用户端对需要进行删除的待删除子文件的删除指令，该删除中携带待删除子文件的文件标识，基于该文件标识，计算机设备在索引信息表中进行查询，查找到待删除子文件的是否删除标识，并将该是否删除标识的特征值设置为第一预设值，以此标志该待删除子文件的状态为删除状态。关于第一预设值的具体描述可以参见前述实施例，此处不再赘述。如此，可应用户需求实现单个文件的删除。

此外，还可通过步骤S33检查文件包是否满足整体删除条件。

S33、当满足以下条件至少之一，删除所述文件包中的子文件并释放所述文件包的存储空间：所述待删除子文件所在文件包的所有子文件的是否删除标识的特征值均为第一预设值；所述待删除子文件所在文件包中的所有未删除子文件的存储时长均达到所述生命周期；所述未删除子文件为是否删除标识的特征值为第二预设值的子文件，所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长。

具体的，在以下两种情况可进行文件包的整体删除。

第一种，计算机设备可以在待删除子文件所在文件包的所有子文件的是否删除标识的特征值均为第一预设值，例如设置为为“1”或者“true”，如每个子文件都被执行删除指令并更改了对应的是否删除标志的特征值为第一预设值的时候，删除文件包中的子文件并释放文件包的存储空间。也就是说当文件包中所有子文件都被删除后，文件包可整体删除以回收存储空间。

第二种，可以获取待删除子文件对应的文件包中其他未删除子文件的存储时长，并在所有的未删除子文件的存储时长均到达生命周期的时候删除该文件包中的所有子文件并释放该文件包对应的存储空间。所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长，其详细描述可以参见前述实施例中的描述，此处不再赘述。其中，上述未删除子文件为文件包中是否删除标识为第二预设值的子文件，例如是否删除标识为“0”或者“false”的子文件。

本实施例中，计算机设备通过接收用户端发送的待删除子文件的文件标识，并将该待删除子文件的是否删除标识的特征值设置为第一预设值，以标记该待删除子文件为删除状态，从而基于除去该待删除子文件之外的其他所有子文件的是否删除标识的特征值均为第一预设值，或者所述待删除子文件所在文件包中的所有未删除子文件的存储时长均达到所述生命周期，对该待删除子文件对应的文件包中的子文件进行删除并释放该文件包的存储空间，该方法能够及时清理子文件均已被用户删除的文件包，以及子文件或被用户删除、或到达生命周期的文件包，在对文件包进行整体删除时无需遍历读取文件包和进行文件拷贝就能够实现文件删除和存储空间的回收，因此极大地减少了操作，进一步节约了系统资源，同时实现了及时删除过期的子文件并同步释放存储空间的资源，使得文件管理更为有序，存储资源的利用率进一步提高。

可选地，在上述各个实施例的基础上，上述方法还包括在子文件缓存服务崩溃的情况下，恢复服务的过程，具体可以包括：当接收到服务重启指令时，遍历所述未存入索引信息表以获取所述未存入索引信息表中子文件的文件标识；根据所述未存入索引信息表中的文件标识，从缓存服务中获取所述待存储的子文件，并将所述待存储子文件缓存在与所述目标文件类型对应的文件包中。具体的，当子文件缓存服务崩溃的时候，子文件缓存服务需要重启来恢复操作，计算机设备接收到服务重启指令的时候，可以遍历上述未存入索引信息表以获得该未存入索引信息表中的子文件的文件标识，并从缓存服务中(例如从缓存的数据库中)读取具有上述文件标识的子文件作为待存储的子文件，然后执行如上述实施例中的缓存操作，以将待存储子文件缓存在对应的目标文件类型所对应的文件包中。本实施例中，计算机设备能够在在接收到子文件缓存服务重启指令的时候，通过遍历为存入索引信息表来获取没能正常落盘的子文件，然后基于该子文件的文件标识，从缓存服务中重新获取待存储的子文件并缓存在与目标文件类型对应的文件包中，从而避免在发生子文件缓存服务崩溃的时候产生的无法获知哪些子文件未落盘、哪些子文件已落盘的情况，该方法能够进一步确保文件的完整性和准确性。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种文件管理装置，包括：

获取模块100，用于获取待存储的子文件；

处理模块200，用于按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；

存储模块300，用于将所述文件包按照预设的落盘条件落盘存储。

在一个实施例中，处理模块200，具体用于获取已有文件包对应的文件类型集合；若所述文件类型集合中存在所述目标文件类型，且所述目标文件类型对应的已有文件包未满，则将所述子文件缓存在与所述目标文件类型对应的目标文件包中；若所述文件类型集合中不存在所述目标文件类型或所述目标文件类型对应的已有文件包已满，则根据所述目标文件类型创建目标文件包，并将所述子文件缓存在与所述目标文件类型对应的所述目标文件包中。

在一个实施例中，所述子文件按照预设结构进行缓存，所述预设结构依次包括：文件前缀、文件标识、文件大小、文件数据内容和循环冗余CRC校验码；其中，所述文件前缀用于区分一个子文件的开始。

在一个实施例中，处理模块200，还用于构建所述子文件的索引信息，并根据所述索引信息更新未存入所述子文件对应的文件包的未存入索引信息表和索引信息表。其中，所述索引信息包括：文件标识、文件归属于的文件包标识、文件大小、相对于所在文件包的文件偏移量、是否删除标识、文件类型、入库时间，所述入库时间用于表征所述子文件存入文件包的时间。

在一个实施例中，存储模块300，具体用于当所述文件包的大小大于或等于预设的文件包容量阈值时，将所述文件包落盘存储；或者当所述文件包自创建以来的创建时长大于或等于预设的文件包的落盘周期阈值时，将所述文件包落盘存储，并返回文件落盘成功信息，并清除所述文件包对应的所述未存入索引信息表。

在一个实施例中，所述装置还可以如图8所示，包括：读取模块400，用于接收用户端发送的待读取子文件的文件标识；根据所述待读取子文件的文件标识，在所述索引信息表中进行查找，得到所述待读取子文件的索引信息；获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量；根据所述目标文件包的文件包标识、以及所述待读取子文件相对于所述目标文件包的文件偏移量，读取所述待读取子文件。

在一个实施例中，读取模块400，还用于获取所述待读取子文件的索引信息中所述是否删除标识的目标特征值，若所述目标特征值为第一预设值，则返回子文件不存在结果；若所述目标特征值为第二预设值，则执行获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量的步骤。

在一个实施例中，所述装置还可以如图9所示，包括：删除模块500，用于当所述文件包中所有子文件的存储时长达到所述生命周期时，删除所述文件包中的子文件并释放所述文件包的存储空间；其中，所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长。

在一个实施例中，删除模块500，还用于接收用户端发送的待删除子文件的文件标识，并根据所述待删除子文件的文件标识查询所述索引信息表，将所述待删除子文件的是否删除标识的特征值设置为第一预设值；当满足以下条件至少之一，删除所述文件包中的子文件并释放所述文件包的存储空间：所述待删除子文件所在文件包的所有子文件的是否删除标识的特征值均为第一预设值；所述待删除子文件所在文件包中的所有未删除子文件的存储时长均达到所述生命周期；所述未删除子文件为是否删除标识的特征值为第二预设值的子文件，所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长。

在一个实施例中，处理模块200，还用于当接收到服务重启指令时，遍历所述未存入索引信息表以获取所述未存入索引信息表中子文件的文件标识；根据所述未存入索引信息表中的文件标识，从缓存服务中获取所述待存储的子文件，并将所述待存储子文件缓存在与所述目标文件类型对应的文件包中。

关于文件管理装置的具体限定可以参见上文中对于文件管理方法的限定，在此不再赘述。上述文件管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待存储的子文件；

按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；

将所述文件包按照预设的落盘条件落盘存储。

应当清楚的是，本申请实施例中处理器执行计算机程序的过程，与上述方法中各个步骤的执行过程一致，具体可参见上文中的描述，再此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待存储的子文件；

按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；

将所述文件包按照预设的落盘条件落盘存储。

应当清楚的是，本申请实施例中处理器执行计算机程序的过程，与上述方法中各个步骤的执行过程一致，具体可参见上文中的描述,再此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种文件管理方法，其特征在于，所述方法包括：

获取待存储的子文件；

按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；

将所述文件包按照预设的落盘条件落盘存储；

所述方法还包括：

构建所述子文件的索引信息；其中，所述索引信息包括：文件标识、文件归属于的文件包标识、文件大小、相对于所在文件包的文件偏移量、是否删除标识、文件类型、入库时间，所述入库时间用于表征所述子文件存入文件包的时间；

根据所述索引信息更新未存入所述子文件对应的文件包的未存入索引信息表和索引信息表，其中，所述未存入索引信息表存储的是未落盘子文件的索引信息，所述索引信息表用于维护已落盘子文件的状态。

2.根据权利要求1所述的方法，其特征在于，所述按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包，包括：

获取已有文件包对应的文件类型集合；

若所述文件类型集合中存在所述目标文件类型，且所述目标文件类型对应的已有文件包未满，则将所述子文件缓存在与所述目标文件类型对应的目标文件包中；

若所述文件类型集合中不存在所述目标文件类型或所述目标文件类型对应的已有文件包已满，则根据所述目标文件类型创建目标文件包，并将所述子文件缓存在与所述目标文件类型对应的所述目标文件包中。

3.根据权利要求1所述的方法，其特征在于，所述子文件按照预设结构进行缓存，所述预设结构依次包括：文件前缀、文件标识、文件大小、文件数据内容和循环冗余CRC校验码；其中，所述文件前缀用于区分一个子文件的开始。

4.根据权利要求3所述的方法，其特征在于，所述将所述文件包按照预设的落盘条件落盘存储，包括：

当所述文件包的大小大于或等于预设的文件包容量阈值时，将所述文件包落盘存储；和/或

当所述文件包自创建以来的创建时长大于或等于预设的文件包的落盘周期阈值时，将所述文件包落盘存储；

返回文件落盘成功信息，并清除所述文件包对应的所述未存入索引信息表。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收用户端发送的待读取子文件的文件标识；

根据所述待读取子文件的文件标识，在所述索引信息表中进行查找，得到所述待读取子文件的索引信息；

获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量；

根据所述目标文件包的文件包标识、以及所述待读取子文件相对于所述目标文件包的文件偏移量，读取所述待读取子文件。

6.根据权利要求5所述的方法，其特征在于，所述获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量之前，所述方法还包括：

获取所述待读取子文件的索引信息中所述是否删除标识的目标特征值；

若所述目标特征值为第一预设值，则返回子文件不存在结果；

若所述目标特征值为第二预设值，则执行所述获取所述待读取子文件的索引信息中，所述待读取子文件所在的目标文件包的文件包标识和相对于所述目标文件包的文件偏移量的步骤。

7.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

当所述文件包中所有子文件的存储时长达到所述生命周期时，删除所述文件包中的子文件并释放所述文件包的存储空间；其中，所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收用户端发送的待删除子文件的文件标识；

根据所述待删除子文件的文件标识查询所述索引信息表，将所述待删除子文件的是否删除标识的特征值设置为第一预设值；

当满足以下条件至少之一，删除所述文件包中的子文件并释放所述文件包的存储空间：

所述待删除子文件所在文件包的所有子文件的是否删除标识的特征值均为第一预设值；

所述待删除子文件所在文件包中的所有未删除子文件的存储时长均达到所述生命周期；所述未删除子文件为是否删除标识的特征值为第二预设值的子文件，所述子文件的存储时长为当前时刻距离所述子文件所在的文件包落盘存储的落盘时刻的时长，或者所述子文件的存储时长为当前时刻距离所述子文件的入库时间的时长。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当接收到服务重启指令时，遍历所述未存入索引信息表以获取所述未存入索引信息表中子文件的文件标识；

根据所述未存入索引信息表中的文件标识，从缓存服务中获取所述待存储的子文件，并将所述待存储子文件缓存在与所述目标文件类型对应的文件包中。

10.一种文件管理装置，其特征在于，所述装置包括：

获取模块，用于获取待存储的子文件；

处理模块，用于按照所述子文件的目标文件类型，将所述子文件缓存在与所述目标文件类型对应的文件包中；其中，同一个文件包中的子文件的生命周期相同，不同的文件包中的子文件的生命周期不同；

存储模块，用于将所述文件包按照预设的落盘条件落盘存储；

处理模块，还用于构建所述子文件的索引信息，并根据所述索引信息更新未存入所述子文件对应的文件包的未存入索引信息表和索引信息表，其中，所述未存入索引信息表存储的是未落盘子文件的索引信息，所述索引信息表用于维护已落盘子文件的状态；其中，所述索引信息包括：文件标识、文件归属于的文件包标识、文件大小、相对于所在文件包的文件偏移量、是否删除标识、文件类型、入库时间，所述入库时间用于表征所述子文件存入文件包的时间。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。