CN111581166A

CN111581166A - 一种文件存储方法和装置

Info

Publication number: CN111581166A
Application number: CN202010260341.8A
Authority: CN
Inventors: 丁鑫
Original assignee: Beijing Mininglamp Software System Co ltd
Current assignee: Beijing Mininglamp Software System Co ltd
Priority date: 2020-04-03
Filing date: 2020-04-03
Publication date: 2020-08-25

Abstract

本申请实施例公开了一种文件存储方法和装置。所述方法包括：在接收到文件存储请求时，获取目标文件中的文件块，得到目标数据；判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果；如果所述判断结果为已存储所述目标数据，则确定所述目标文件的第一特征信息，其中所述第一特征信息包括文件块数据的存储地址、文件的摘要数据和文件引用数，其中所述文件引用数的取值加1；仅保存所述目标文件的文件元数据和所述第一特征信息，完成对所述目标文件的存储。

Description

一种文件存储方法和装置

技术领域

本申请实施例涉及信息处理领域，尤指一种文件存储方法和装置。

背景技术

文件存储在计算机系统中广泛应用，一个文件通常由两部分组成，一部分是文件元数据，比如文件的名称、大小、创建时间以及其他属性等，另一部分是文件块数据，包含文件的内容数据。一个文件可以通过复制的方式生成新的副本文件，同一存储设备上可以有多份内容相同的文件。

在相关技术中，Linux操作系统和Windows操作系统中对文件的管理是使用索引来记录文件元数据，索引中记录了文件大小，创建时间等属性数据，还记录了文件块数据的地址。如果在操作系统中发生文件的复制操作，会存在多个相同内容的文件，将会出现复制操作所产生的副本与原件均占用存储空间的问题，会造成大量存储空间浪费。

发明内容

为了解决上述任一技术问题，本申请实施例提供了一种文件存储方法和装置。

为了达到本申请实施例目的，本申请实施例提供了一种文件存储方法，包括：

在接收到文件存储请求时，获取目标文件中的文件块，得到目标数据；

判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果；

如果所述判断结果为已存储所述目标数据，则确定所述目标文件的第一特征信息，其中所述第一特征信息包括文件块数据的存储地址、文件的摘要数据和文件引用数，其中所述文件引用数的取值加1；

仅保存所述目标文件的文件元数据和所述第一特征信息，完成对所述目标文件的存储。

一种文件存储装置，包括：

获取模块，被设置为在接收到文件存储请求时，获取目标文件中的文件块，得到目标数据；

判断模块，被设置为判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果；

第一确定模块，被设置为如果所述判断结果为已存储所述目标数据，则确定所述目标文件的第一特征信息，其中所述第一特征信息包括文件块数据的存储地址、文件的摘要数据和文件引用数，其中所述文件引用数的取值加1；

第一保存模块，被设置为仅保存所述目标文件的文件元数据和所述第一特征信息，完成对所述目标文件的存储。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上文所述的方法。

上述技术方案中的一个技术方案具有如下优点或有益效果：

在接收到文件存储请求时，获取目标文件中的文件块，得到目标数据，判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果，如果所述判断结果为已存储所述目标数据，则确定所述目标文件的第一特征信息，仅保存所述目标文件的文件元数据和所述第一特征信息，完成对所述目标文件的存储，实现在存储相同内容的数据时无需存储文件块的内容，减少对存储空间的使用，提高存储空间的利用率，同时，利用文件元数据和特征信息来标记文件，实现对文件的记录，保证文件存储的正常使用。

本申请实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请实施例的实施例一起用于解释本申请实施例的技术方案，并不构成对本申请实施例技术方案的限制。

图1为本申请实施例提供的文件存储方法的流程图；

图2为本申请实施例提供的文件存储装置的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请实施例的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请实施例中的实施例及实施例中的特征可以相互任意组合。

在实现本申请过程中，发明人对相关技术进行了技术分析，发现复制操作所产生的副本文件与原件都有相同的文件块数据，但是文件元数据不同，比如两个文件的文件名不同、创建时间、存储路径。在多用户的共享存储系统中，多个用户经常会上传包含同样内容的文件，但是文件元数据不同。

基于上述分析，本申请实施例提出一种新的文件存储方案，减少相同内容的文件占用的存储空间，提高存储效率。

图1为本申请实施例提供的文件存储方法的流程图。如图1所示，所述方法包括：

步骤101、在接收到文件存储请求时，获取目标文件中的文件块，得到目标数据；

步骤102、判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果；

在一个示例性实施例中，与相关技术直接存储目标数据不同，在存储该文件之前，判断文件存储请求所请求存储的目标数据是否与已存储的文件块数据相同，来确定是否要重复存储相同数据，作为优化存储空间的判断条件。

步骤103、如果所述判断结果为已存储所述目标数据，则确定所述目标文件的第一特征信息，其中所述第一特征信息包括文件块数据的存储地址、文件的摘要数据和文件引用数，其中所述文件引用数的取值加1；

在一个示例性实施例中，由于目标数据的内容与已存储的文件块数据相同，则表示本地已存储过该目标数据的内容，如果继续对该目标数据进行存储，势必会造成存储空间的浪费，而该文件的特征信息与之前已存储的文件块数据有不同点，即目标文件的第一特征信息。通过确定第一特征信息来实现与已存储的文件块的区分，达到文件的标记目的。

步骤104、仅保存所述目标文件的文件元数据和所述第一特征信息，完成对所述目标文件的存储。

在一个示例性实施例中，通过文件元数据和第一特征信息来标记该文件，并通过第一特征信息的摘要数据来确定对应的文件块，完成对文件的存储。

本申请实施例提供的方法，在接收到文件存储请求时，获取目标文件中的文件块，得到目标数据，判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果，如果所述判断结果为已存储所述目标数据，则确定所述目标文件的第一特征信息，仅保存所述目标文件的文件元数据和所述第一特征信息，完成对所述目标文件的存储，实现在存储相同内容的数据时无需存储文件块的内容，减少对存储空间的使用，提高存储空间的利用率，同时，利用文件元数据和特征信息来标记文件，实现对文件的记录，保证文件存储的正常使用。

在一个示例性实施例中，请求存储的文件为第一文件，如果该第一文件与已存储的第二文件的文件块内容相同，按照本申请实施例提供的方法，仅保存所述第一文件的文件元数据和第一特征信息，其中所述第一特征信息中记录有所述文件的摘要数据。当接收到对第一文件的读写请求时，由于该存储路径上并未存储该第一文件的文件块数据，则读取所述第一特征信息中的摘要数据，利用该摘要数据确定对应的文件块数据，可以将第二文件的文件块可以作为第一文件的文件块进行读写操作的响应。

在一个示例性实施例中，所述判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果之后，所述方法还包括：

如果所述判断结果为未存储所述目标数据，则确定所述目标文件的第二特征信息，其中所述第二特征信息包括文件块数据的存储地址、文件的摘要数据和文件引用数，其中所述文件引用数的取值为1；

存储所述文件的文件块、所述的文件元数据以及所述第二特征信息，完成对所述目标文件的存储。

与相关技术中直接将未存储过的文件直接存储相比，本申请实施例提供的方法在对文件存储执行存储的同时，确定所述文件的第二特征信息，以便在后续存储中遇到与该文件相同内容的数据时利用该第二特征信息进行数据存储，从而减少相同内容的文件块的重复存储。

在一个示例性实施例中，所述判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果，包括：

利用预先设置的计算策略，对所述目标数据进行处理，生成所述目标文件的目标摘要数据；

在预先存储的文件对应的摘要数据中，查找所述目标摘要数据，得到查找结果；

根据所述查找结果确定本地已存储的文件块数据中是否有所述目标数据。

文件的摘要数据可以通过预设的计算策略对文件块的内容进行计算得到，该摘要数据可以作为文件块内容的唯一标识。

在上述示例性实施例中，摘要数据不但可以作为文件块的内容的唯一标识，还可以作为判断文件块的内容是否相同的判断依据，实现对摘要数据的充分利用，提高数据的处理效率。

在一个示例性实施例中，所述方法还包括：

在接收到对目标文件的复制请求时，确定所复制的副本文件的第一特征信息；

仅保存所述副本文件的文件元数据和所述第一特征信息，完成对所述目标文件的复制操作。

所述复制请求所对应的原件可以为首次存储的文件或者与首次存储的文件的内容相同的其他文件。其中副本文件中的第一特征信息中文件引用数是根据文件引用数的最大值确定的，如果获取到的引用数的最大值为N，则副本的第一特征信息中的引用数的取值为N+1，其中N为正整数。

通过确定第一特征信息完成复制操作中文件的存储，无需进行文件块的复制，降低存储空间的占用，提高复制操作的处理效率。

在一个示例性实施例中，所述方法还包括：

在接收到对目标文件的删除请求时，将所述目标文件的第一特征信息中文件引用数的取值减1，删除所述目标文件的文件元数据，并保留所述目标文件的文件块数据；或者，

删除所述目标文件的第二特征信息，并删除所述目标文件的文件元数据和文件块数据。

在删除文件时，首先删除该文件元数据，然后在文件摘要数据中查看文件引用数，如果文件引用数为1，删除文件摘要数据和文件块数据；如果文件引用数大于1，将文件摘要中的文件引用数减1即可，不需要删除文件块数据。

利用文件引用数完成对文件的区分管理，在保证删除操作正常处理的前提下，去除删除对存储的相同内容的其他文件的影响，保证存储系统中文件的正常运行。

下面以本申请实施例提供的方法进行说明：

步骤201、在接收到文件存储请求时，获取文件的文件块数据；

在一个示例性实施例中，如果接收到某一文件的存储请求，则从该文件的数据中提取所述文件的文件块，以获取该文件中的内容信息。

步骤202、利用预先设置的计算策略，对文件块数据进行处理，生成所述文件的摘要数据；

在一个示例性实施例中，计算策略可以是哈希计算或摘要计算，其中摘要计算所使用的算法可以为SHA-1或MD5算法等。

步骤203、在预先存储的摘要数据中，查找是否有所述摘要数据，得到查询结果；

如果没有找到所述摘要数据，则执行步骤204；如果查找到所述摘要数据，则执行步骤205；

步骤204、把所述文件的文件块数据进行存储，并记录文件特征数据，其中所述文件特征数据包括文件块数据存储地址、文件摘要的内容、文件引用数的取值为1的信息；再将文件名等文件属性值以及文件特征数据存入文件元数据；

步骤205、将文件摘要数据中的文件引用数加1保存，再生成一条新的文件元数据，元数据中记录文件名等文件属性值以及文件摘要。

通过存储结构中增加文件特征数据，相同内容的文件共享文件摘要数据，从而使得多个相同内容文件只需存储一份文件内容数据。

在复制文件时，只需要把文件元数据生成一条新的记录，同时把文件摘要数据中的文件引用数加一，文件块数据不需要复制。

在删除文件时，首先删除该文件元数据，然后在文件摘要数据中查看文件引用数，如果文件引用数为1，删除文件摘要数据和文件块数据，如果文件引用数大于1，将文件摘要中的文件引用数减1即可，不需要删除文件块数据。

通过文件摘要数据中文件引用数的增减，减少文件复制和删除中对内容数据的操作。

本申请实施例提供的方法，将数据对象结构部分提取为元数据的方式，使得数据值部分的结构更加紧凑，减少了不必要的属性名重复，减少了数据占用空间，提高了数据存储和传输效率。

图2为本申请实施例提供的文件存储装置的结构图。如图2所示，图2所示装置包括：

在一个示例性实施例中，所述装置还包括：

第二确定模块，被设置为在得到判断结果后，如果所述判断结果为未存储所述目标数据，则确定所述目标文件的第二特征信息，其中所述第二特征信息包括文件块数据的存储地址、文件的摘要数据和文件引用数，其中所述文件引用数的取值为1；

第二保存模块，被设置为存储所述文件的文件块、所述的文件元数据以及所述第二特征信息，完成对所述目标文件的存储。

在一个示例性实施例中，所述判断模块包括：

生成单元，被设置为利用预先设置的计算策略，对所述目标数据进行处理，生成所述目标文件的目标摘要数据；

查找单元，被设置为在预先存储的文件对应的摘要数据中，查找所述目标摘要数据，得到查找结果；

确定单元，被设置为根据所述查找结果确定本地已存储的文件块数据中是否有所述目标数据。

在一个示例性实施例中，所述装置还包括：

所述复制管理模块，被设置为在接收到对目标文件的复制请求时，确定所复制的副本文件的第一特征信息；仅保存所述副本文件的文件元数据和所述第一特征信息，完成对所述目标文件的复制操作。

在一个示例性实施例中，所述装置还包括：

所述删除管理模块，被设置为在接收到对目标文件的删除请求时，将所述目标文件的第一特征信息中文件引用数的取值减1，删除所述目标文件的文件元数据，并保留所述目标文件的文件块数据；或者，删除所述目标文件的第二特征信息，并删除所述目标文件的文件元数据和文件块数据。

本申请实施例提供的装置，在接收到文件存储请求时，获取目标文件中的文件块，得到目标数据，判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果，如果所述判断结果为已存储所述目标数据，则确定所述目标文件的第一特征信息，仅保存所述目标文件的文件元数据和所述第一特征信息，完成对所述目标文件的存储，实现在存储相同内容的数据时无需存储文件块的内容，减少对存储空间的使用，提高存储空间的利用率，同时，利用文件元数据和特征信息来标记文件，实现对文件的记录，保证文件存储的正常使用。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文任一项中所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上文任一项中所述的方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims

1.一种文件存储方法，包括：

2.根据权利要求1所述的方法，其特征在于，所述判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果之后，所述方法还包括：

3.根据权利要求1或2所述的方法，其特征在于，所述判断本地已存储的文件块数据中是否有所述目标数据，得到判断结果，包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.一种文件存储装置，包括：

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

8.根据权利要求6或7所述的装置，其特征在于，所述判断模块包括：

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。