CN105808622A - 一种文件存储的方法和装置 - Google Patents

Abstract

本发明提供了一种文件存储的方法和装置，以解决现有对于文件的存储方式不合理，容易造成碎片或溢出，并且文件的查询效率低的问题。其中，方法包括：根据接收到的客户端上传的文件的大小，将文件的内容数据存储在至少一个文件存储块中；获取存储内容数据的文件存储块的信息；根据文件存储块的信息生成与内容数据相对应的元数据；将文件的元数据存储至预设的存储空间中。本发明能够避免由于直接将文件的全部内容数据作为一个整体存储至相应的存储空间中而导致的磁盘碎片和溢出的情况，存储方式更加合理，并且对元数据独立存储，可以实现统一管理文件的元数据，进而提高后续文件的查询效率。

Description

一种文件存储的方法和装置

技术领域

本发明涉及文件技术领域，特别是涉及一种文件存储的方法和装置。

背景技术

文件系统是一种用于向用户提供数据访问的机制。从系统角度看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。当接收到客户端上传的文件时，将该文件存储至对应的存储空间中，当接收到下载文件的请求时，从存储空间中查找对应的文件，并下发查找到的文件，实现了文件的上传、下载，方便了用户的使用。一个文件可以包括内容数据和元数据，内容数据是指文件中的实际数据；元数据记录了文件的相关信息，用于描述文件的属性，例如文件的创建时间、修改及访问时间、文件权限、映射信息等。

目前的文件存储方法中，当文件系统接收到客户端上传的文件时，将直接将该文件的全部内容数据作为一个整体存储至相应的存储空间中，并且将该文件的元数据与内容数据存储至同一个存储空间中。

但是，上述方法中，对于文件内容数据的存储来说，如果是小文件的内容数据，则容易造成磁盘碎片，当小文件过多时，将降低文件的读写速度；如果是大文件的内容数据，则容易造成溢出，导致无法存储。对于文件元数据的存储来说，将元数据与内容数据一同存储，当存储的文件过多时，则元数据的数量较大，不便于管理，从而导致查询效率低。总之，现有对于文件的存储方式不合理，容易造成碎片或溢出，并且文件的查询效率低。

发明内容

本发明提供一种文件存储的方法和装置，以解决现有对于文件的存储方式不合理，容易造成碎片或溢出，并且文件的查询效率低的问题。

为了解决上述问题，本发明公开了一种文件存储的方法，包括：

根据接收到的客户端上传的文件的大小，将所述文件的内容数据存储在至少一个文件存储块中；

获取存储所述内容数据的文件存储块的信息；

根据所述文件存储块的信息生成与所述内容数据相对应的元数据；

将所述文件的元数据存储至预设的存储空间中。

优选地，根据接收到的客户端上传的文件的大小，将所述文件的内容数据存储在至少一个文件存储块中，包括：

若所述文件的大小小于或等于预设的标准大小，则将所述文件的内容数据存储在一个文件存储块中；

若所述文件的大小大于预设的标准大小，则将所述文件的内容数据按照所述标准大小划分为多个数据块，将每个数据块分别存储在一个文件存储块中。

优选地，根据所述文件存储块的信息生成与所述内容数据相对应的元数据，包括：

若所述文件的大小小于或等于所述标准大小，则根据存储所述文件的内容数据的一个文件存储块的信息生成与所述内容数据相对应的元数据；

若所述文件的大小大于所述标准大小，则根据存储所述多个数据块的多个文件存储块的信息生成与所述内容数据相对应的元数据。

优选地，在将所述文件的内容数据存储在一个文件存储块中之后，还包括：

记录所述文件的内容数据在所述文件存储块中的起止位置。

优选地，所述文件存储块的信息包括所述文件存储块的唯一标识和所述文件存储块的物理存储路径；

根据存储所述文件的内容数据的一个文件存储块的信息生成与所述内容数据相对应的元数据，包括：

将所述文件的大小和所述文件存储块的唯一标识确定为所述文件的描述信息；

将所述文件存储块的物理存储路径和所述文件的内容数据在所述文件存储块中的起止位置确定为所述文件的映射信息；

根据所述文件的描述信息和所述文件的映射信息生成与所述内容数据相对应的元数据。

优选地，将所述文件的元数据存储至预设的存储空间中，包括：

获取所述文件的内容数据对应的唯一标识；

为所述文件的描述信息建立一级索引，其中，所述一级索引包括所述文件的内容数据对应的唯一标识；

为所述文件的映射信息建立二级索引，其中，所述二级索引包括所述文件的内容数据对应的唯一标识和所述文件存储块的唯一标识的组合；

根据所述一级索引和所述二级索引将所述文件的描述信息和所述文件的映射信息存储至预设的存储空间中。

优选地，在将所述文件的内容数据按照所述标准大小划分为多个数据块，将每个数据块分别存储在一个文件存储块中之后，还包括：

针对每个数据块，分别记录当前数据块在所述文件的内容数据中的起止位置。

优选地，所述文件存储块的信息包括所述文件存储块的唯一标识和所述文件存储块的物理存储路径；

根据存储所述多个数据块的多个文件存储块的信息生成与所述内容数据相对应的元数据，包括：

将所述文件的大小和每个文件存储块的唯一标识确定为所述文件的描述信息；

针对每个数据块，将存储当前数据块的文件存储块的物理存储路径和当前数据块在所述文件的内容数据中的起止位置确定为当前数据块的映射信息；

根据所述文件的描述信息和所述文件中的每个数据块的映射信息生成与所述内容数据相对应的元数据。

优选地，将所述文件的元数据存储至预设的存储空间中，包括：

获取所述文件的内容数据对应的唯一标识；

为所述文件的描述信息建立一级索引，其中，所述一级索引包括所述文件的内容数据对应的唯一标识；

针对每个数据块，分别为每个数据块的映射信息建立二级索引，其中，所述二级索引包括所述文件的内容数据对应的唯一标识和存储当前数据块的文件存储块的唯一标识的组合；

根据所述一级索引和所述二级索引将所述文件的描述信息和所述文件的中的每个数据块的映射信息存储至预设的存储空间中。

优选地，若所述文件的大小小于或等于预设的标准大小，则将所述文件的内容数据存储在一个文件存储块中，包括：

若所述文件的大小等于所述标准大小，则创建一个新的文件存储块，将所述文件的内容数据存储在所述新的文件存储块中；

若所述文件的大小小于所述标准大小，则从已创建的文件存储块中查找是否存在剩余存储空间大于或等于所述文件的大小的文件存储块；

若存在，则将所述文件的内容数据存储在查找到的一个文件存储块中；

若不存在，则创建一个新的文件存储块，将所述文件的内容数据存储在所述新的文件存储块中。

优选地，若存在，则将所述文件的内容数据存储在查找到的一个文件存储块中，包括：

若存在一个，则将所述文件的内容数据存储在查找到的文件存储块中；

若存在多个，则按照预设条件从查找到的文件存储块中选取一个文件存储块，将所述文件的内容数据存储在选取的文件存储块中。

优选地，将所述文件的内容数据按照所述标准大小划分为多个数据块，将每个数据块分别存储在一个文件存储块中，包括：

从所述文件的内容数据的第一个字节开始，按顺序划分出至少一个大小等于所述标准大小的数据块，直至不再存在大小等于所述标准大小的数据块为止；

针对划分出的每个大小等于所述标准大小的数据块，分别创建一个新的文件存储块，将每个所述数据块存储在一个新的文件存储块中；

若存在划分出的大小小于所述标准大小的数据块，则从已创建的文件存储块中查找是否存在剩余存储空间大于或等于该数据块的大小的文件存储块；若存在，则将该数据块存储在查找到的一个文件存储块中；若不存在，则创建一个新的文件存储块，将该数据块存储在所述新的文件存储块中。

优选地，所述预设的存储空间为预设的分布式数据库。

为了解决上述问题，本发明还公开了一种文件存储的装置，包括：

内容存储模块，用于根据接收到的客户端上传的文件的大小，将所述文件的内容数据存储在至少一个文件存储块中；

信息获取模块，用于获取存储所述内容数据的文件存储块的信息；

元数据生成模块，用于根据所述文件存储块的信息生成与所述内容数据相对应的元数据；

元数据存储模块，用于将所述文件的元数据存储至预设的存储空间中。

优选地，所述内容存储模块包括：

第一内容存储子模块，用于当所述文件的大小小于或等于预设的标准大小时，将所述文件的内容数据存储在一个文件存储块中；

第二内容存储子模块，用于当所述文件的大小大于预设的标准大小时，将所述文件的内容数据按照所述标准大小划分为多个数据块，将每个数据块分别存储在一个文件存储块中。

优选地，所述元数据生成模块包括：

第一元数据生成子模块，用于当所述文件的大小小于或等于所述标准大小时，根据存储所述文件的内容数据的一个文件存储块的信息生成与所述内容数据相对应的元数据；

第二元数据生成子模块，用于当所述文件的大小大于所述标准大小时，根据存储所述多个数据块的多个文件存储块的信息生成与所述内容数据相对应的元数据。

与现有技术相比，本发明包括以下优点：

本发明中对于文件的内容数据按照文件的大小存储在至少一个文件存储块中，从而对于小文件可以将其与其他小文件合并存储，对于大文件可以拆分存储，因此避免了由于直接将该文件的全部内容数据作为一个整体存储至相应的存储空间中而导致的磁盘碎片和溢出的情况，存储方式更加合理。对于文件的元数据，根据存储文件的内容数据的至少一个文件存储块的信息生成与文件的内容数据相对应的元数据，并将文件的元数据存储至预设的存储空间中，由于对元数据独立存储，因此可以实现统一管理文件的元数据，进而提高后续文件的查询效率。

附图说明

图1是本发明实施例一的一种文件存储的方法的步骤流程图；

图2是本发明实施例二的一种文件存储的方法的步骤流程图；

图3是本发明实施例三的一种文件存储的装置的结构框图；

图4是本发明实施例四的一种文件存储的装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

参照图1，示出了本发明实施例一的一种文件存储的方法的步骤流程图。

本实施例的文件存储的方法可以包括以下步骤：

步骤101，根据接收到的客户端上传的文件的大小，将所述文件的内容数据存储在至少一个文件存储块中。

本发明实施例中，客户端可以将文件上传至文件系统中，也可以从文件系统中下载文件。其中，文件系统可以为Linux等操作系统下的文件系统。

当文件系统接收到客户端上传的文件时，首先可以获取该文件的大小，然后根据该文件的大小确定将该文件的内容数据存储在哪个或哪些文件存储块中，也即根据接收到的客户端上传的文件的大小，将文件的内容数据存储在至少一个文件存储块中。其中，文件的大小即指文件的内容数据的大小。

步骤102，获取存储所述内容数据的文件存储块的信息。

在将文件的内容数据存储在至少一个文件存储块中之后，还可以获取存储此内容数据的至少一个文件存储块的信息。对于每个文件存储块来说，其对应一唯一标识，根据该唯一标识即可唯一确定该文件存储块；每个文件存储块还可以对应一物理存储路径，根据文件存储块的物理存储路径即可查找到该文件存储块。上述唯一标识和物理存储路径可以由文件系统自动分配。

因此，本发明实施例中，文件存储块的信息可以包括文件存储块的唯一标识和文件存储块的物理存储路径，当然还可以包括其他信息，如文件存储块的存储空间等，本发明实施例对此并不加以限制。

步骤103，根据所述文件存储块的信息生成与所述内容数据相对应的元数据。

文件还可以对应有元数据，元数据记录了文件的相关信息，用于描述文件的属性，例如文件的创建时间、修改及访问时间、文件权限、映射信息等。根据存储该文件内容数据的至少一个文件存储块的信息即可生成与该文件的内容数据相对应的元数据。

步骤104，将所述文件的元数据存储至预设的存储空间中。

本发明实施例中，可以预先设置用于存储文件元数据的存储空间，该存储空间可以独立于存储内容数据的文件存储块，即无需将文件的元数据与文件的内容数据存储至同一个空间内，从而可以对文件的元数据进行统一管理，后续当需要查询某个文件时，即可从该存储空间中进行查询，提高文件的查询效率。

本实施例中对上述各个步骤进行了简单介绍，对于各个步骤的具体过程，将在下面的实施例二中详细描述。

本发明实施例中对于文件的内容数据按照文件的大小存储在至少一个文件存储块中，从而对于小文件可以将其与其他小文件合并存储，对于大文件可以拆分存储，因此避免了由于直接将该文件的全部内容数据作为一个整体存储至相应的存储空间中而导致的磁盘碎片和溢出的情况，存储方式更加合理。对于文件的元数据，根据存储文件的内容数据的至少一个文件存储块的信息生成与文件的内容数据相对应的元数据，并将文件的元数据存储至预设的存储空间中，由于对元数据独立存储，因此可以实现统一管理文件的元数据，进而提高后续文件的查询效率。

实施例二

参照图2，示出了本发明实施例二的一种文件存储的方法的步骤流程图。

本实施例的文件存储的方法可以包括以下步骤：

步骤201，接收客户端上传的文件。

如上所述，客户端可以将文件上传至文件系统中，也可以从文件系统中下载文件。

步骤202，根据所述文件的大小，将所述文件的内容数据存储在至少一个文件存储块中。

根据接收到的文件的大小，可以将该文件的内容数据存储在至少一个文件存储块中，文件存储块即指文件系统的存储空间。本实施例中可以预先设置一标准大小，根据该标准大小可以确定将文件的内容数据存储在一个文件存储块或是多个文件存储块中，例如，可以设置标准大小为32MB、64MB等数值，本实施例对具体的数值并不加以限制。

在本发明的一种优选实施例中，该步骤202可以包括以下子步骤a1～子步骤a2：

子步骤a1，若所述文件的大小小于或等于预设的标准大小，则将所述文件的内容数据存储在一个文件存储块中；

如果文件的大小小于或等于预设的标准大小，则可以确定该文件为小文件，因此可以将文件的内容数据存储在一个文件存储块中。

优选地，该子步骤a1可以包括以下子步骤a11～子步骤a14：

子步骤a11，若所述文件的大小等于所述标准大小，则创建一个新的文件存储块，将所述文件的内容数据存储在所述新的文件存储块中；

创建的该新的文件存储块为空，可以将文件的内容数据写入该空文件存储块中，该为空的文件存储块的总存储空间为上述标准大小，因此在将该文件的内容数据写入之后，该文件存储块的剩余空间为0，即该文件存储块不再存储其他文件的内容数据。

子步骤a12，若所述文件的大小小于所述标准大小，则从已创建的文件存储块中查找是否存在剩余存储空间大于或等于所述文件的大小的文件存储块；

如果文件的大小小于标准大小，则可以根据实际情况将该文件的内容数据与已创建的文件存储块中的内容数据合并存储，以充分利用存储空间。因此可以从已创建的文件存储块中查找是否存在剩余存储空间大于或等于所述文件的大小的文件存储块，如果存在，则执行子步骤a13；如果不存在，则执行子步骤a14。

子步骤a13，若存在，则将所述文件的内容数据存储在查找到的一个文件存储块中；

本实施例中对于存在的情况还可以包括存在一个和存在多个两种情况，因此，该子步骤a13还可以包括以下子步骤a131～子步骤a132：

子步骤a131，若存在一个，则将所述文件的内容数据存储在查找到的文件存储块中；

子步骤a132，若存在多个，则按照预设条件从查找到的文件存储块中选取一个文件存储块，将所述文件的内容数据存储在选取的文件存储块中。

其中，按照预设条件从查找到的文件存储块中选取一个文件存储块的过程，可以为从查找到的文件存储块中选取剩余空间最大的一个文件存储块，或者为从查找到的文件存储块中选取剩余空间与所述文件的大小的差距最小的一个文件存储块，或者为从查找到的文件存储块中随机选取一个文件存储块，等等，本发明实施例对此并不加以限制。

子步骤a14，若不存在，则创建一个新的文件存储块，将所述文件的内容数据存储在所述新的文件存储块中。

如果已创建的文件存储块中不存在剩余存储空间大于或等于所述文件的大小的文件存储块，则创建一个新的文件存储块，创建的该新的文件存储块为空，该文件存储块的存储空间为上述标准大小，也即该文件存储块可以存储上述标准大小的内容数据。在将文件的内容数据存储在新创建的文件存储块中时，从该文件存储块的第一个字节地址开始，按顺序依次写入。

子步骤a2，若所述文件的大小大于预设的标准大小，则将所述文件的内容数据按照所述标准大小划分为多个数据块，将每个数据块分别存储在一个文件存储块中。

如果文件的大小大于预设的标准大小，则可以确定该文件为大文件，因此可以将该文件的内容数据存储在多个文件存储块中。

该子步骤a2可以包括以下子步骤a21～子步骤a24：

子步骤a21，从所述文件的内容数据的第一个字节开始，按顺序划分出至少一个大小等于所述标准大小的数据块，直至不再存在大小等于所述标准大小的数据块为止；

例如，标准大小为64MB，该文件的大小(即文件的内容数据的大小)为150MB，则可以划分出3个数据块，第一个数据块和第二个数据块的大小均为64MB，第3个数据块的大小为22MB。再例如，标准大小为64MB，该文件的大小(即文件的内容数据的大小)为192MB，则可以划分出3个数据块，第一个数据块、第二个数据块和第三个数据块的大小均为64MB。

子步骤a22，针对划分出的每个大小等于所述标准大小的数据块，分别创建一个新的文件存储块，将每个所述数据块存储在一个新的文件存储块中；

创建的该新的文件存储块为空，该为空的文件存储块的总存储空间为上述标准大小。

子步骤a23，若存在划分出的大小小于所述标准大小的数据块，则从已创建的文件存储块中查找是否存在剩余存储空间大于或等于该数据块的大小的文件存储块；若存在，则将该数据块存储在查找到的一个文件存储块中；若不存在，则创建一个新的文件存储块，将该数据块存储在所述新的文件存储块中。

该子步骤a23的过程与上述子步骤a12～子步骤a14基本相似，具体参照上述子步骤a12～子步骤a14的相关描述即可，本实施例在此不再赘述。

需要说明的是，如果将文件的内容数据进行划分后，不存在划分出的大小小于标准大小的数据块，则只需通过上述子步骤a22处理即可，无需执行该子步骤a23。

步骤203，获取存储所述内容数据的文件存储块的信息。

本实施例中，文件存储块的信息可以包括文件存储块的唯一标识和文件存储块的物理存储路径等信息。如果根据上述子步骤a1将所述文件的内容数据存储在一个文件存储块中，则该步骤203即为获取该一个文件存储块的唯一标识和物理存储路径；如果根据上述子步骤a2将每个数据块分别存储在一个文件存储块中，则该步骤203即为分别获取存储每个数据块的文件存储块的唯一标识和物理存储路径。

步骤204，根据所述文件存储块的信息生成与所述内容数据相对应的元数据。

本发明实施例中，文件的元数据可以分为两部分，即文件的描述信息和文件的映射信息，该两部分元数据分别存储，从而进一步提高后续的查询效率，以下具体论述。

在本发明的一种优选实施例中，该步骤204可以包括以下子步骤b1～子步骤b2：

子步骤b1，若所述文件的大小小于或等于所述标准大小，则根据存储所述文件的内容数据的一个文件存储块的信息生成与所述内容数据相对应的元数据；

如果根据上述子步骤a1将文件的内容数据存储在一个文件存储块中，则在上述子步骤a1之后还可以记录所述文件的内容数据在该文件存储块中的起止位置。例如，上述标准大小为64MB，接收到的文件的大小为64MB，按照上述子步骤a11的方式创建一个新的文件存储块，文件的内容数据在该文件存储块中的起止位置即为0～(64MB-1B)。再例如，上述标准大小为64MB，接收到的文件的大小为32MB，按照上述子步骤a13的方式将文件的内容数据存储在查找到的一个文件存储块中，并且该文件存储块中已经存储有10MB的内容数据，即0～(10MB-1B)已存储有内容数据，则文件的内容数据在该文件存储块中的起止位置即为10MB～(42MB-1B)。

优选地，该子步骤b1可以包括以下子步骤b11～子步骤b13：

子步骤b11，将所述文件的大小和所述文件存储块的唯一标识确定为所述文件的描述信息；

子步骤b12，将所述文件存储块的物理存储路径和所述文件的内容数据在所述文件存储块中的起止位置确定为所述文件的映射信息；

子步骤b13，根据所述文件的描述信息和所述文件的映射信息生成与所述内容数据相对应的元数据。

也即，与所述内容数据相对应的元数据包括所述文件的描述信息和所述文件的映射信息。

子步骤b2，若所述文件的大小大于所述标准大小，则根据存储所述多个数据块的多个文件存储块的信息生成与所述内容数据相对应的元数据。

如果根据上述子步骤a2将每个数据块分别存储在一个文件存储块中，则在上述子步骤a2之后还可以针对每个数据块，分别记录当前数据块在所述文件的内容数据中的起止位置。例如，标准大小为64MB，该文件的大小为150MB，则可以划分出3个数据块，第一个数据块和第二个数据块的大小均为64MB，第三个数据块的大小为22MB，则第一个数据块在文件的内容数据中的起止位置为0～(64MB-1B)，第二个数据块在文件的内容数据中的起止位置为64MB～(128MB-1B)，第三个数据块在文件的内容数据中的起止位置为128MB～(150MB-1B)。

优选地，该子步骤b2可以包括以下子步骤b21～子步骤b23：

子步骤b21，将所述文件的大小和每个文件存储块的唯一标识确定为所述文件的描述信息；

子步骤b22，针对每个数据块，将存储当前数据块的文件存储块的物理存储路径和当前数据块在所述文件的内容数据中的起止位置确定为当前数据块的映射信息；

子步骤b23，根据所述文件的描述信息和所述文件中的每个数据块的映射信息生成与所述内容数据相对应的元数据。

根据上述过程，即可生成与文件的内容数据相对应的元数据，即文件的描述信息和文件的映射信息，当然上述元数据还可以包括一些其他信息，如文件的创建者、创建时间、修改时间、文件权限等等，这些信息可以作为文件的描述信息，本发明实施例对此并不加以限制。

步骤205，将所述文件的元数据存储至预设的存储空间中。

在生成文件的元数据之后，还可以将元数据存储至预设的存储空间中，在存储过程中，可以为文件的元数据建立索引，以便后续查询文件。

如果文件的大小小于或等于所述标准大小，采用上述子步骤b1，根据存储所述文件的内容数据的一个文件存储块的信息生成与所述内容数据相对应的元数据，则该步骤205可以包括以下子步骤c1～子步骤c4：

子步骤c1，获取所述文件的内容数据对应的唯一标识；

优选地，本实施例中，可以针对文件的内容数据计算唯一HASH(哈希)值，例如可以采用MD5算法(MessageDigestAlgorithmMD5，消息摘要算法第五版)等计算出内容数据的唯一HASH值，该唯一HASH值即可以作为该文件的内容数据对应的唯一标识(即文件指纹)。通过计算HASH值的方式可以进一步提高处理效率。

当然，还可以通过其他方式获取文件的内容数据对应的唯一标识，例如，通过文件系统自动为该文件的内容数据分配唯一标识，只要通过该唯一标识能够唯一确定一个文件即可，本发明实施例对此并不加以限制。

子步骤c2，为所述文件的描述信息建立一级索引，其中，所述一级索引包括所述文件的内容数据对应的唯一标识；

子步骤c3，为所述文件的映射信息建立二级索引，其中，所述二级索引包括所述文件的内容数据对应的唯一标识和所述文件存储块的唯一标识的组合；

子步骤c4，根据所述一级索引和所述二级索引将所述文件的描述信息和所述文件的映射信息存储至预设的存储空间中。

因此，针对该种情况，对元数据存储的形式如下：

一级索引(文件的内容数据对应的唯一标识)→文件的描述信息；

二级索引(文件的内容数据对应的唯一标识和文件存储块的唯一标识的组合)→文件的映射信息。其中，“→”表示对应的关系。

如果文件的大小大于所述标准大小，采用上述子步骤b2，根据存储所述多个数据块的多个文件存储块的信息生成与所述内容数据相对应的元数据，则该步骤205可以包括以下子步骤d1～子步骤d4：

子步骤d1，获取所述文件的内容数据对应的唯一标识；

子步骤d2，为所述文件的描述信息建立一级索引，其中，所述一级索引包括所述文件的内容数据对应的唯一标识；

子步骤d3，针对每个数据块，分别为每个数据块的映射信息建立二级索引，其中，所述二级索引包括所述文件的内容数据对应的唯一标识和存储当前数据块的文件存储块的唯一标识的组合；

子步骤d4，根据所述一级索引和所述二级索引将所述文件的描述信息和所述文件的中的每个数据块的映射信息存储至预设的存储空间中。

因此，针对该种情况，如果存在n个数据块(数据块1、数据块2……数据块n)，则对元数据存储的形式如下：

一级索引(文件的内容数据对应的唯一标识)→文件的描述信息；

数据块1的二级索引(文件的内容数据对应的唯一标识和存储数据块1的文件存储块的唯一标识的组合)→数据块1的映射信息；

数据块2的二级索引(文件的内容数据对应的唯一标识和存储数据块2的文件存储块的唯一标识的组合)→数据块2的映射信息；

……

数据块n的二级索引(文件的内容数据对应的唯一标识和存储数据块n的文件存储块的唯一标识的组合)→数据块n的映射信息。

在本发明的一种优选实施例中，上述预设的存储空间(即存储元数据的空间)可以为预设的分布式数据库，从而可以实现元数据的分布存储，具有较高的扩展性。

当需要下载文件时，首先根据文件的一级索引(文件的内容数据对应的唯一标识)查找到该文件的描述信息，并从该描述信息中获取存储该文件内容数据的至少一个文件存储块中的每个文件存储块的唯一标识；然后根据这些文件存储块的唯一标识对应的二级索引查找该文件的映射信息，最后根据查找到的映射信息获取到该文件的内容数据。

本发明实施例中，对于文件的内容数据采用分块或者合并的形式存储，从而提高存储空间的利用效率；对于文件的元数据独立存储，并可采用分布式存储，使得存储空间具有较高的可扩展性。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

实施例三

参照图3，示出了本发明实施例三的一种文件存储的装置的结构框图。

本实施例的文件存储的装置可以包括以下模块：

内容存储模块301，用于根据接收到的客户端上传的文件的大小，将所述文件的内容数据存储在至少一个文件存储块中；

信息获取模块302，用于获取存储所述内容数据的文件存储块的信息；

元数据生成模块303，用于根据所述文件存储块的信息生成与所述内容数据相对应的元数据；

元数据存储模块304，用于将所述文件的元数据存储至预设的存储空间中。

本发明实施例中对于文件的内容数据按照文件的大小存储在至少一个文件存储块中，从而对于小文件可以将其与其他小文件合并存储，对于大文件可以拆分存储，因此避免了由于直接将该文件的全部内容数据作为一个整体存储至相应的存储空间中而导致的磁盘碎片和溢出的情况，存储方式更加合理。对于文件的元数据，根据存储文件的内容数据的至少一个文件存储块的信息生成与文件的内容数据相对应的元数据，并将文件的元数据存储至预设的存储空间中，由于对元数据独立存储，因此可以实现统一管理文件的元数据，进而提高后续文件的查询效率。

实施例四

参照图4，示出了本发明实施例四的一种文件存储的装置的结构框图。

本实施例的文件存储的装置可以包括以下模块：

内容存储模块401，用于根据接收到的客户端上传的文件的大小，将所述文件的内容数据存储在至少一个文件存储块中。

优选地，内容存储模块可以包括以下子模块：

第一内容存储子模块，用于当所述文件的大小小于或等于预设的标准大小时，将所述文件的内容数据存储在一个文件存储块中；

第二内容存储子模块，用于当所述文件的大小大于预设的标准大小时，将所述文件的内容数据按照所述标准大小划分为多个数据块，将每个数据块分别存储在一个文件存储块中。

其中，第一内容存储子模块包括以下子单元：

第一存储子单元，用于当所述文件的大小等于所述标准大小时，创建一个新的文件存储块，将所述文件的内容数据存储在所述新的文件存储块中；

查找子单元，用于当所述文件的大小小于所述标准大小时，从已创建的文件存储块中查找是否存在剩余存储空间大于或等于所述文件的大小的文件存储块；

第二存储子单元，用于在所述查找模块的查找结果为存在时，将所述文件的内容数据存储在查找到的一个文件存储块中；在所述查找模块的查找结果为不存在时，创建一个新的文件存储块，将所述文件的内容数据存储在所述新的文件存储块中。

优选地，所述第二存储子单元，还用于当存在一个剩余存储空间大于或等于所述文件的大小的文件存储块时，将所述文件的内容数据存储在查找到的文件存储块中；当存在多个剩余存储空间大于或等于所述文件的大小的文件存储块时，按照预设条件从查找到的文件存储块中选取一个文件存储块，将所述文件的内容数据存储在选取的文件存储块中。

第二内容存储子模块包括以下子单元：

划分子单元，用于从所述文件的内容数据的第一个字节开始，按顺序划分出至少一个大小等于所述标准大小的数据块，直至不再存在大小等于所述标准大小的数据块为止；

第三存储子单元，用于针对划分出的每个大小等于所述标准大小的数据块，分别创建一个新的文件存储块，将每个所述数据块存储在一个新的文件存储块中；当存在划分出的大小小于所述标准大小的数据块时，从已创建的文件存储块中查找是否存在剩余存储空间大于或等于该数据块的大小的文件存储块；若存在，则将该数据块存储在查找到的一个文件存储块中；若不存在，则创建一个新的文件存储块，将该数据块存储在所述新的文件存储块中。

第一记录模块402，用于在第一内容存储子模块将所述文件的内容数据存储在一个文件存储块中之后，记录所述文件的内容数据在所述文件存储块中的起止位置。

第二记录模块403，用于在所述第二内容存储子模块将所述文件的内容数据按照所述标准大小划分为多个数据块，将每个数据块分别存储在一个文件存储块中之后，针对每个数据块，分别记录当前数据块在所述文件的内容数据中的起止位置。

信息获取模块404，用于获取存储所述内容数据的文件存储块的信息。

优选地，所述文件存储块的信息可以包括所述文件存储块的唯一标识和所述文件存储块的物理存储路径。

元数据生成模块405，用于根据所述文件存储块的信息生成与所述内容数据相对应的元数据。

优选地，元数据生成模块可以包括以下子模块：

第一元数据生成子模块，用于当所述文件的大小小于或等于所述标准大小时，根据存储所述文件的内容数据的一个文件存储块的信息生成与所述内容数据相对应的元数据；

第二元数据生成子模块，用于当所述文件的大小大于所述标准大小时，根据存储所述多个数据块的多个文件存储块的信息生成与所述内容数据相对应的元数据。

其中，第一元数据生成子模块，具体用于将所述文件的大小和所述文件存储块的唯一标识确定为所述文件的描述信息；将所述文件存储块的物理存储路径和所述文件的内容数据在所述文件存储块中的起止位置确定为所述文件的映射信息；根据所述文件的描述信息和所述文件的映射信息生成与所述内容数据相对应的元数据；

第二元数据生成子模块，具体用于将所述文件的大小和每个文件存储块的唯一标识确定为所述文件的描述信息；针对每个数据块，将存储当前数据块的文件存储块的物理存储路径和当前数据块在所述文件的内容数据中的起止位置确定为当前数据块的映射信息；根据所述文件的描述信息和所述文件中的每个数据块的映射信息生成与所述内容数据相对应的元数据。

元数据存储模块406，用于将所述文件的元数据存储至预设的存储空间中。

优选地，元数据存储模块可以包括以下子模块：

第一获取子模块，用于获取所述文件的内容数据对应的唯一标识；

第一建立子模块，用于为所述文件的描述信息建立一级索引，其中，所述一级索引包括所述文件的内容数据对应的唯一标识；以及，为所述文件的映射信息建立二级索引，其中，所述二级索引包括所述文件的内容数据对应的唯一标识和所述文件存储块的唯一标识的组合；

第一存储子模块，用于根据所述一级索引和所述二级索引将所述文件的描述信息和所述文件的映射信息存储至预设的存储空间中。

优选地，元数据存储模块还可以包括以下子模块：

第二获取子模块，用于获取所述文件的内容数据对应的唯一标识；

第二建立子模块，用于为所述文件的描述信息建立一级索引，其中，所述一级索引包括所述文件的内容数据对应的唯一标识；以及，针对每个数据块，分别为每个数据块的映射信息建立二级索引，其中，所述二级索引包括所述文件的内容数据对应的唯一标识和存储当前数据块的文件存储块的唯一标识的组合；

第二存储子模块，用于根据所述一级索引和所述二级索引将所述文件的描述信息和所述文件的中的每个数据块的映射信息存储至预设的存储空间中。

优选地，所述预设的存储空间为预设的分布式数据库。

本发明实施例中，对于文件的内容数据采用分块或者合并的形式存储，从而提高存储空间的利用效率；对于文件的元数据独立存储，并可采用分布式存储，使得存储空间具有较高的可扩展性。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种文件存储的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种文件存储的方法，其特征在于，包括：

根据接收到的客户端上传的文件的大小，将所述文件的内容数据存储在至少一个文件存储块中；

获取存储所述内容数据的文件存储块的信息；

根据所述文件存储块的信息生成与所述内容数据相对应的元数据；

将所述文件的元数据存储至预设的存储空间中。

2.根据权利要求1所述的方法，其特征在于，根据接收到的客户端上传的文件的大小，将所述文件的内容数据存储在至少一个文件存储块中，包括：

若所述文件的大小小于或等于预设的标准大小，则将所述文件的内容数据存储在一个文件存储块中；

若所述文件的大小大于预设的标准大小，则将所述文件的内容数据按照所述标准大小划分为多个数据块，将每个数据块分别存储在一个文件存储块中。

3.根据权利要求2所述的方法，其特征在于，根据所述文件存储块的信息生成与所述内容数据相对应的元数据，包括：

若所述文件的大小小于或等于所述标准大小，则根据存储所述文件的内容数据的一个文件存储块的信息生成与所述内容数据相对应的元数据；

若所述文件的大小大于所述标准大小，则根据存储所述多个数据块的多个文件存储块的信息生成与所述内容数据相对应的元数据。

4.根据权利要求3所述的方法，其特征在于，在将所述文件的内容数据存储在一个文件存储块中之后，还包括：

记录所述文件的内容数据在所述文件存储块中的起止位置。

5.根据权利要求4所述的方法，其特征在于，所述文件存储块的信息包括所述文件存储块的唯一标识和所述文件存储块的物理存储路径；

根据存储所述文件的内容数据的一个文件存储块的信息生成与所述内容数据相对应的元数据，包括：

将所述文件的大小和所述文件存储块的唯一标识确定为所述文件的描述信息；

将所述文件存储块的物理存储路径和所述文件的内容数据在所述文件存储块中的起止位置确定为所述文件的映射信息；

根据所述文件的描述信息和所述文件的映射信息生成与所述内容数据相对应的元数据。

6.根据权利要求5所述的方法，其特征在于，将所述文件的元数据存储至预设的存储空间中，包括：

获取所述文件的内容数据对应的唯一标识；

为所述文件的描述信息建立一级索引，其中，所述一级索引包括所述文件的内容数据对应的唯一标识；

为所述文件的映射信息建立二级索引，其中，所述二级索引包括所述文件的内容数据对应的唯一标识和所述文件存储块的唯一标识的组合；

根据所述一级索引和所述二级索引将所述文件的描述信息和所述文件的映射信息存储至预设的存储空间中。

7.根据权利要求3所述的方法，其特征在于，在将所述文件的内容数据按照所述标准大小划分为多个数据块，将每个数据块分别存储在一个文件存储块中之后，还包括：

针对每个数据块，分别记录当前数据块在所述文件的内容数据中的起止位置。

8.根据权利要求7所述的方法，其特征在于，所述文件存储块的信息包括所述文件存储块的唯一标识和所述文件存储块的物理存储路径；

根据存储所述多个数据块的多个文件存储块的信息生成与所述内容数据相对应的元数据，包括：

将所述文件的大小和每个文件存储块的唯一标识确定为所述文件的描述信息；

针对每个数据块，将存储当前数据块的文件存储块的物理存储路径和当前数据块在所述文件的内容数据中的起止位置确定为当前数据块的映射信息；

根据所述文件的描述信息和所述文件中的每个数据块的映射信息生成与所述内容数据相对应的元数据。

9.根据权利要求8所述的方法，其特征在于，将所述文件的元数据存储至预设的存储空间中，包括：

获取所述文件的内容数据对应的唯一标识；

为所述文件的描述信息建立一级索引，其中，所述一级索引包括所述文件的内容数据对应的唯一标识；

针对每个数据块，分别为每个数据块的映射信息建立二级索引，其中，所述二级索引包括所述文件的内容数据对应的唯一标识和存储当前数据块的文件存储块的唯一标识的组合；

根据所述一级索引和所述二级索引将所述文件的描述信息和所述文件的中的每个数据块的映射信息存储至预设的存储空间中。

10.根据权利要求2所述的方法，其特征在于，若所述文件的大小小于或等于预设的标准大小，则将所述文件的内容数据存储在一个文件存储块中，包括：

若所述文件的大小等于所述标准大小，则创建一个新的文件存储块，将所述文件的内容数据存储在所述新的文件存储块中；

若所述文件的大小小于所述标准大小，则从已创建的文件存储块中查找是否存在剩余存储空间大于或等于所述文件的大小的文件存储块；

若存在，则将所述文件的内容数据存储在查找到的一个文件存储块中；

若不存在，则创建一个新的文件存储块，将所述文件的内容数据存储在所述新的文件存储块中。

11.根据权利要求10所述的方法，其特征在于，若存在，则将所述文件的内容数据存储在查找到的一个文件存储块中，包括：

若存在一个，则将所述文件的内容数据存储在查找到的文件存储块中；

若存在多个，则按照预设条件从查找到的文件存储块中选取一个文件存储块，将所述文件的内容数据存储在选取的文件存储块中。

12.根据权利要求2所述的方法，其特征在于，将所述文件的内容数据按照所述标准大小划分为多个数据块，将每个数据块分别存储在一个文件存储块中，包括：

从所述文件的内容数据的第一个字节开始，按顺序划分出至少一个大小等于所述标准大小的数据块，直至不再存在大小等于所述标准大小的数据块为止；

针对划分出的每个大小等于所述标准大小的数据块，分别创建一个新的文件存储块，将每个所述数据块存储在一个新的文件存储块中；

若存在划分出的大小小于所述标准大小的数据块，则从已创建的文件存储块中查找是否存在剩余存储空间大于或等于该数据块的大小的文件存储块；若存在，则将该数据块存储在查找到的一个文件存储块中；若不存在，则创建一个新的文件存储块，将该数据块存储在所述新的文件存储块中。

13.根据权利要求1所述的方法，其特征在于，所述预设的存储空间为预设的分布式数据库。

14.一种文件存储的装置，其特征在于，包括：

内容存储模块，用于根据接收到的客户端上传的文件的大小，将所述文件的内容数据存储在至少一个文件存储块中；

信息获取模块，用于获取存储所述内容数据的文件存储块的信息；

元数据生成模块，用于根据所述文件存储块的信息生成与所述内容数据相对应的元数据；

元数据存储模块，用于将所述文件的元数据存储至预设的存储空间中。