CN110018999B - 一种文件管理方法、系统及电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种管理方法、系统及一种电子设备和计算机可读存储介质，该方法包括：获取目标文件，并确定所述目标文件的元数据；根据所述元数据中的第一属性对所述目标文件在当前版本下创建的第一部分进行分片存储；其中，当前版本下所有文件的第一属性相同；所述目标文件包括在旧版本下创建的第二部分，则根据所述元数据中的第二属性将所述第二部分划分为前置分片，并存储所有所述前置分片。由此可见，本申请提供的文件管理方法，能够兼容旧文件的前提下减少了元数据的维护成本。

Description

一种文件管理方法、系统及电子设备和存储介质

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种文件管理方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术

在设计全局分片模块时，需要考虑的一个很重要的方面是对分片大小的处理。分片大小的处理除了需要考虑全新部署的环境外，还需要考虑由旧版本升级上来的环境，即需要考虑对旧文件的兼容情况。

现有技术中对于分片大小的处理为：整个系统同样保存着一个全局的默认分片大小，该值可修改。文件内每个分片的大小不是固定的，可在运行时决定，为默认分片大小的当前值。例如，上层文件大小为6GB，可能存在的切分情况是：分片1大小为4GB，分片2大小为1GB，分片3大小为1GB。对旧文件的兼容，只需将旧文件映射成新文件的第一个分片。但是，该方案需要额外维护每个分片的实际大小，元数据维护成本较大。

因此，如何在能够兼容旧文件的前提下减少元数据的维护成本是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种文件管理方法、系统及一种电子设备和一种计算机可读存储介质，在能够兼容旧文件的前提下减少了元数据的维护成本。

为实现上述目的，本申请提供了一种文件管理方法，包括：

获取目标文件，并确定所述目标文件的元数据；

根据所述元数据中的第一属性对所述目标文件在当前版本下创建的第一部分进行分片存储；其中，所述当前版本下所有文件的第一属性相同；

若所述目标文件包括在旧版本下创建的第二部分，则根据所述元数据中的第二属性将所述第二部分划分为前置分片，并存储所有所述前置分片。

其中，所述根据所述元数据中的第一属性对所述目标文件在所述当前版本下创建的第一部分进行分片存储之前，还包括：

将默认分片大小在所述当前版本下的值确定为所述元数据中的第一属性；其中，所述默认分片大小为可修改的全局变量。

其中，所述第二属性包括前置分片大小和/或前置分片放大系数；

其中，所述前置分片放大系数为所述前置分片大小与所述第一属性的比值。

其中，所述第二属性还包括前置分片个数、最后一个前置分片的分片大小和最后一个前置分片的放大系数中的任一项或任几项的组合。

其中，所述最后一个前置分片的放大系数为所述最后一个前置分片的分片大小与128M的比值。

其中，所述第一属性的最高位表示所述目标文件是否包括在旧版本下创建的所述第二部分。

为实现上述目的，本申请提供了一种文件管理系统，包括：

获取模块，用于获取目标文件，并确定所述目标文件的元数据；

第一分片模块，用于根据所述元数据中的第一属性对所述目标文件在当前版本下创建的第一部分进行分片存储；其中，所述当前版本下所有文件的第一属性相同；

第二分片模块，用于若所述目标文件包括在旧版本下创建的第二部分，则根据所述元数据中的第二属性将所述第二部分划分为前置分片，并存储所有所述前置分片。

其中，还包括：

确定模块，用于将默认分片大小在所述当前版本下的值确定为所述元数据中的第一属性；其中，所述默认分片大小为可修改的全局变量。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述文件管理方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述文件管理方法的步骤。

通过以上方案可知，本申请提供的一种文件管理方法，包括：获取目标文件，并确定所述目标文件的元数据；根据所述元数据中的第一属性对所述目标文件在当前版本下创建的第一部分进行分片存储；其中，当前版本下所有文件的第一属性相同；所述目标文件包括在旧版本下创建的第二部分，则根据所述元数据中的第二属性将所述第二部分划分为前置分片，并存储所有所述前置分片。

本申请提供的文件管理方法，文件系统根据元数据中第一属性将当前版本下创建的第一部分进行分片存储，当前版本下所有文件的第一属性相同，元数据只需要维护该第一属性，不需要维护每个分片的实际大小，元数据维护成本低。当后续版本希望修改分片大小值以达到更优效果时，仅需修改第一属性的值，不会对已经分片的部分造成影响，提供灵活性。对于旧版本下创建的第二部分的兼容方式，该第二部分会被切分为多个前置分片，分片情况记录到元数据中的第二属性。由此可见，本申请提供的文件管理方法，能够兼容旧文件的前提下减少了元数据的维护成本。本申请还公开了一种文件管理系统及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1为本申请实施例提供的一种文件管理方法的流程图；

图2为本申请实施例提供的新文件处理的示意图；

图3为本申请实施例提供的旧文件处理的示意图；

图4为本申请实施例提供的另一种文件管理方法的流程图；

图5为本申请实施例提供的一种文件管理系统的结构图；

图6为本申请实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种管理方法，在能够兼容旧文件的前提下减少了元数据的维护成本。

参见图1，本申请实施例提供的一种文件管理方法的流程图，如图1所示，包括：

S101：获取目标文件，并确定所述目标文件的元数据；

在本实施例中，目标文件的元数据包括描述当前版本下分片大小的第一属性，单位可以根据文件系统的大小进行设置，在此不进行限定。对于第一属性，本领域技术人员可以在创建文件前进行指定，为降低分片的维护成本，需要为同一版本下所有文件指定相同的第一属性。

优选的，文件系统也可以维护一个全局的默认分片大小，该默认分片大小可动态修改，第一属性即为默认分片大小的当前值，当后续版本希望修改文件的分片大小以达到更优效果时，将已经创建的文件作为旧版本下创建的部分进行处理，不会对现有文件造成影响，提供灵活性。文件中所有在当前版本下创建的部分，分片大小均取默认分片大小的当前值，即将默认分片大小在当前版本下的值确定为目标文件的元数据中的第一属性。

S102：根据所述元数据中的第一属性对所述目标文件在当前版本下创建的第一部分进行分片存储；其中，当前版本下所有文件的第一属性相同；

本步骤中的第一部分指在当前版本下创建的新的文件内容，根据上一步骤确定的元数据的第一属性对上述新的文件内容进行分片存储。需要说明的是，当前版本下创建的所有新文件第一属性相同，为默认分片大小的当前值，即所有分片的大小相同。文件分片情况可以如图2所示，若给定偏移off，可得出此偏移所在分片的索引号shard_idx和对应的分片内的偏移shard_off：

shard_idx＝off/shard_size；

shard_off＝off％shard_size；

其中，shard_size为文件元数据中的第一属性，即默认分片大小的当前值。

S103：若所述目标文件包括在旧版本下创建的第二部分，则根据所述元数据中的第二属性将所述第二部分划分为前置分片，并存储所有所述前置分片。

在本步骤中，若目标文件为旧版本下创建的文件，即该目标文件包括在旧版本下创建的第二部分，此处的第二部分是指在旧版本下创建的文件内容。旧版本包括当前版本之前的所有版本，例如，当前版本的版本号为1.2，旧版本包括版本号为1.1、1.0等的版本，对于旧版本，相同版本的第一属性相同，即版本1.1下创建的所有文件的第一属性相同，版本1.0下创建的所有文件的第一属性相同。

当目标文件需要兼容到当前版本时，即上述的在旧版本下创建的文件内容需要兼容到当前版本，该目标文件的元数据还包括描述第二部分的分片情况的第二属性。根据第二属性将第二部分划分为一个或多个前置分片，这些前置分片的大小会被记录到文件的元数据中，并且可与第一属性不一致。实现兼容后，旧版本下创建的文件也可以使用文件系统全局空间，且对文件的数据平衡和数据重建都可以以第一属性为分片粒度。

需要说明的是，本实施例不对第二属性记录第二部分的分片情况的具体方式进行限定。例如，当每个前置分片大小不同时，第二属性可以包括所有前置分片的大小，由于可以设置前置分片的大小远大于当前版本下的分片大小(即第一属性)，因此，前置分片的数量较少，元数据的维护成本同样远小于现有技术。

优选的，每个前置分片大小相同，此时第二属性可以包括前置分片放大系数，前置分片放大倍数为前置分片大小相比当前版本下的分片大小的放大倍数，本领域技术人员可以在版本升级前进行设置，此时前置分片大小为前置分片放大系数与第一属性的乘积。当然可以将前置分片大小直接保存至第二属性中，也可以将前置分片放大系数和前置分片大小同时保存至第二属性中，在此不进行具体限定。

在上述方案中，若给定偏移off，可得出此偏移所在分片的索引号shard_idx和对应的分片内的偏移shard_off。由于前置分片的存在，相关计算需要分情况处理。

当off大于等于目标部分的大小时：

shard_idx＝preblock_cnt+1+(off-目标部分的大小)；

shard_off＝(off-目标部分的大小)％shard_size/shard_size；

off小于目标部分的大小时：

shard_idx＝off/前置分片大小；

shard_off＝off％前置分片大小；

其中，preblock_cnt为不包含最后一个前置分片的个数。根据目标部分的大小和前置分片大小可以计算出preblock_cnt，该preblock_cnt可以直接保存至第二属性中。

对于最后一个前置分片的分片大小，可以根据最后一个前置分片的放大系数进行计算，具体的计算方法为：

最后一个前置分片的分片大小＝最后一个前置分片的的放大系数×128M。

由于BD(中文全称：基础设计，英文全称：Base Design，为软件设计过程术语)每次以128M为单位申请空间，因此为了避免旧版本下创建的文件转换之后由于磁盘空间满而无法增长文件大小，文件在增长最后128M时肯定是成功的。

需要说明的是，如果不进行上述的前置分片切分过程，也可以将旧版本下创建的文件直接处理成最后一个前置分片，即preblock_cnt＝0。

上述的最后一个前置分片的的放大系数和最后一个前置分片的分片大小也可以直接保存至第二属性中，即第二属性还可以包括前置分片个数、前置分片的分片大小和最后一个前置分片的放大系数中的任一项或任几项的组合。

需要说明的是，对于目标文件的创建版本，可以通过上一步骤中第一属性进行判断，即第一属性的最高位可以表示目标文件是否包括在旧版本下创建的第二部分。例如，第一属性的最高位如果为1时表示目标文件为旧版本下创建文件，元数据要求第二属性一定要存在，如果为0，则表示该文件为当前版本下创建文件，元数据可以不存在第二属性，也可以设置第二属性为空，在此不进行具体限定。

下面以一个具体的例子说明上述前置分片的切分过程，如图3所示，假设存在旧版本下创建的文件，大小为72GB，升级时按照32GB对其进行切分，且默认分片大小的当前值为4GB，即该文件元数据中的第一属性为4GB。升级转换时会为此文件的元数据添加第二属性，各属性的值如表1所示：

表一

参数	取值
		shard_size	0x80001000
preblock_factor	8
		preblock_cnt	2
last_preblock_factor	2

其中，shard_size为第一属性(即默认分片大小的当前值)，最高位用于表示该文件为旧版本下创建的文件，preblock_factor为前置分片放大系数，preblock_cnt为不包含最后一个前置分片的个数，last_preblock_factor为最后一个前置分片的的放大系数。

本申请实施例提供的文件管理方法，文件系统根据元数据中第一属性将当前版本下创建的第一部分进行分片存储，当前版本下所有文件的第一属性相同，元数据只需要维护该第一属性，不需要维护每个分片的实际大小，元数据维护成本低。当后续版本希望修改分片大小值以达到更优效果时，仅需修改第一属性的值，不会对已经分片的部分造成影响，提供灵活性。对于旧版本下创建的第二部分的兼容方式，该第二部分会被切分为多个前置分片，分片情况记录到元数据中的第二属性。由此可见，本申请实施例提供的文件管理方法，能够兼容旧文件的前提下减少了元数据的维护成本。

本申请实施例公开了一种文件管理方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图4，本申请实施例提供的另一种文件管理方法的流程图，如图4所示，包括：

S201：获取目标文件，并确定所述目标文件的元数据；

S202：将默认分片大小在当前版本下的值确定为目标文件的元数据中的第一属性。

S203：根据所述元数据中的第一属性对所述目标文件在当前版本下创建的第一部分进行分片存储；

S204：若所述目标文件包括在旧版本下创建的第二部分，则根据所述元数据中的第二属性将所述第二部分划分为前置分片，并存储所有所述前置分片。

在本实施例中，文件系统维护一个全局的默认分片大小，该默认分片大小可动态修改，第一属性即为默认分片大小的当前值，当后续版本希望修改文件的分片大小以达到更优效果时，将已经创建的文件作为旧版本下创建的部分进行处理，不会对现有文件造成影响，提供灵活性。

下面对本申请实施例提供的一种文件管理系统进行介绍，下文描述的一种文件管理系统与上文描述的一种文件管理方法可以相互参照。

参见图5，根据一示例性实施例示出的一种文件管理系统的结构图，如图5所示，包括：

获取模块501，用于获取目标文件，并确定所述目标文件的元数据；

第一分片模块502，用于根据所述元数据中的第一属性对所述目标文件在当前版本下创建的第一部分进行分片存储；其中，当前版本下所有文件的第一属性相同；

第二分片模块503，用于若所述目标文件包括在旧版本下创建的第二部分，则根据所述元数据中的第二属性将所述第二部分划分为前置分片，并存储所有所述前置分片。

本申请实施例提供的文件管理系统，文件系统根据元数据中第一属性将当前版本下创建的第一部分进行分片存储，当前版本下所有文件的第一属性相同，元数据只需要维护该第一属性，不需要维护每个分片的实际大小，元数据维护成本低。当后续版本希望修改分片大小值以达到更优效果时，仅需修改第一属性的值，不会对已经分片的部分造成影响，提供灵活性。对于旧版本下创建的第二部分的兼容方式，该第二部分会被切分为多个前置分片，分片情况记录到元数据中的第二属性。由此可见，本申请实施例提供的文件管理方法，能够兼容旧文件的前提下减少了元数据的维护成本。

在上述实施例的基础上，作为一种优选实施方式，还包括：

确定模块，用于将默认分片大小在所述当前版本下的值确定为所述元数据中的第一属性；其中，所述默认分片大小为可修改的全局变量。

在上述实施例的基础上，作为一种优选实施方式，所述第二属性包括前置分片大小和/或前置分片放大系数；

其中，所述前置分片放大系数为所述前置分片大小与所述第一属性的比值。

在上述实施例的基础上，作为一种优选实施方式，所述第二属性还包括前置分片个数、最后一个前置分片的分片大小和最后一个前置分片的放大系数中的任一项或任几项的组合。

在上述实施例的基础上，作为一种优选实施方式，所述最后一个前置分片的放大系数为所述最后一个前置分片的分片大小与128M的比值。

在上述实施例的基础上，作为一种优选实施方式，所述第一属性的最高位表示所述目标文件是否包括在旧版本下创建的所述第二部分。

关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请还提供了一种电子设备，参见图6，本申请实施例提供的一种电子设备600的结构图，如图6所示，可以包括处理器11和存储器12。该电子设备600还可以包括多媒体组件13，输入/输出(I/O)接口14，以及通信组件15中的一者或多者。

其中，处理器11用于控制该电子设备600的整体操作，以完成上述的文件管理方法中的全部或部分步骤。存储器12用于存储各种类型的数据以支持在该电子设备600的操作，这些数据例如可以包括用于在该电子设备600上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件13可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器12或通过通信组件15发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口14为处理器11和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件15用于该电子设备600与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件15可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的文件管理方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述文件管理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器12，上述程序指令可由电子设备600的处理器11执行以完成上述的文件管理方法。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (7)

1.一种文件管理方法，其特征在于，包括：

获取目标文件，并确定所述目标文件的元数据；

根据所述元数据中的第一属性对所述目标文件在当前版本下创建的第一部分进行分片存储；其中，所述当前版本下所有文件的第一属性相同；

若所述目标文件包括在旧版本下创建的第二部分，则根据所述元数据中的第二属性将所述第二部分划分为前置分片，并存储所有所述前置分片；其中，所述第二属性包括前置分片大小和/或前置分片放大系数，所述前置分片放大系数为所述前置分片大小与所述第一属性的比值；

其中，所述根据所述元数据中的第一属性对所述目标文件在所述当前版本下创建的第一部分进行分片存储之前，还包括：

将默认分片大小在所述当前版本下的值确定为所述元数据中的第一属性；其中，所述默认分片大小为可修改的全局变量。

2.根据权利要求1所述文件管理方法，其特征在于，所述第二属性还包括前置分片个数、最后一个前置分片的分片大小和最后一个前置分片的放大系数中的任一项或任几项的组合。

3.根据权利要求2所述文件管理方法，其特征在于，所述最后一个前置分片的放大系数为所述最后一个前置分片的分片大小与128M的比值。

4.根据权利要求1至3中任一项所述文件管理方法，其特征在于，所述第一属性的最高位表示所述目标文件是否包括在旧版本下创建的所述第二部分。

5.一种文件管理系统，其特征在于，包括：

获取模块，用于获取目标文件，并确定所述目标文件的元数据；

第一分片模块，用于根据所述元数据中的第一属性对所述目标文件在当前版本下创建的第一部分进行分片存储；其中，所述当前版本下所有文件的第一属性相同；

第二分片模块，用于若所述目标文件包括在旧版本下创建的第二部分，则根据所述元数据中的第二属性将所述第二部分划分为前置分片，并存储所有所述前置分片；其中，所述第二属性包括前置分片大小和/或前置分片放大系数，所述前置分片放大系数为所述前置分片大小与所述第一属性的比值；

其中，所述系统还包括：

确定模块，用于将默认分片大小在所述当前版本下的值确定为所述元数据中的第一属性；其中，所述默认分片大小为可修改的全局变量。

6.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4中任一项所述文件管理方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述文件管理方法的步骤。

Images