CN102622185B - 在多个存储单元中存储文件的方法以及存储分配方法 - Google Patents

Abstract

本发明提出了文件存储方法以及对使用该文件存储方法进行存储的文件存储系统进行存储分配的方法，通过将文件划分成文件块分别存储到多个磁盘存储单元中，很好的解决了多用户访问同一文件时的速度受限问题，并通过文件块冗余在进一步提高磁盘存储单元的性能的同时，有效地提高了文件存储系统的安全性。

Description

在多个存储单元中存储文件的方法以及存储分配方法

技术领域

本发明涉及文件存储领域，尤其涉及一种在多个存储单元中存储文件的方法和使用该方法对包括多个存储单元的文件存储系统进行存储分配的方法。

背景技术

随着宽带市场的飞速发展和用户数量的激增，流媒体视频应用如VOD视频点播等系统的规模正日益庞大。广电行业的互动系统要求存储系统具备大容量、高读写性能、高安全性的特点，如何高效且安全的存储并管理媒体文件是广电视频行业的一大挑战。

目前大多数的视频点播方案中主要采用视频服务器直连磁盘阵列(即RAID)的方式进行数据存储。这种技术将多个独立的硬盘通过不同的方式组合成一个硬盘组，硬盘组较单个磁盘在性能上有较大程度的提升。RAID技术已广泛应用于数据存储领域。

但随着应用的日益发展，RAID存储方式逐渐显现出了以下缺陷：首先，RAID存储方式中都是以整个文件为基本单元进行存储的，当多个用户同时对同一个媒体文件进行访问时，访问速度会受到限制。其次，当对现有的多个硬盘驱动器进行动态扩容时，尤其是对采用了RAID冗余策略的硬盘驱动器进行扩容时，由于RAID的冗余策略是通过硬盘镜像来实现的，进行扩容时需要重建RAID策略，代价很高，扩容复杂，并且当存在用户对媒体文件进行访问时，动态扩容对正在进行的正常业务也会产生影响。

发明内容

针对现有的文件存储方法和文件存储系统中存在的上述缺陷，本发明提出了新型的文件存储方法，以及对使用该文件存储方法进行存储的文件存储系统进行存储分配的方法。

本发明提供了一种在多个磁盘存储单元中存储文件的方法，该方法包括：将需要存储的文件分割成多个文件块；设置所述文件块的副本数量，其中该副本数量小于所述多个磁盘存储单元的数量；获取所述多个磁盘存储单元中的每个磁盘存储单元的磁盘剩余空间大小；根据所述磁盘剩余空间大小和所述副本数量将所述多个文件块和其中每个文件块的所有副本存储在所述多个磁盘存储单元中，其中每个文件块和该文件块的每个副本分别存储在不同的磁盘存储单元中。

本发明提供了一种对文件存储系统进行存储分配的方法，该方法包括：a)获取所述文件存储系统中的在线的磁盘存储单元的磁盘剩余空间大小；b)根据所述磁盘剩余空间大小，将所述在线的磁盘存储单元分为多组，该多组磁盘存储单元中包括第一组磁盘存储单元，该第一组磁盘存储单元的每个磁盘存储单元的磁盘剩余空间均大于其它组中的一个磁盘存储单元的磁盘剩余空间，将所述第一组磁盘存储单元中的至少一个文件块转移到其它组中的至少一个磁盘存储单元中，其中其它组中的每一个磁盘存储单元不含有相同的文件块。

本发明提供了一种对文件存储系统进行存储分配的方法，其中所述文件存储系统包括初始的多个磁盘存储单元，该方法包括：检测所述文件存储系统中的磁盘存储单元的在线状况；当检测到减少了磁盘存储单元时，执行以下操作：获取该磁盘存储单元的文件块列表；从所述多个磁盘存储单元中的剩余磁盘存储单元中查找与所述文件块列表中所列的文件块相同的文件块；在保证相同的文件块不重复存储在同一磁盘存储单元的条件下，在剩余磁盘存储单元中尽量多地创建所查找到的文件块的副本。

本发明所提出的文件存储方法，以及对使用该文件存储方法进行存储的文件存储系统进行存储分配的方法通过将文件划分成文件块分别存储到多个磁盘存储单元中，很好的解决了多用户访问同一文件时的速度受限问题，并通过文件块冗余在进一步提高磁盘存储单元的性能的同时，有效地提高了文件存储系统的安全性。

附图说明

图1示出了与本发明相关的文件存储系统的结构图；

图2示出了一种在多个磁盘存储单元中存储文件的方法；

图3示出了一种对使用图2中的方法进行文件存储的包括多个磁盘存储单元的文件存储系统进行存储分配的方法；以及

图4示出了另一种对使用图2中的方法进行文件存储的包括多个磁盘存储单元的文件存储系统进行存储分配的方法。

具体实施方式

如图1所示，本发明所涉及的文件存储系统包括一个存储控制单元10和多个磁盘存储单元20。存储控制单元10用于创建文件，并将文件分割成多个文件块，以便存储在所述多个磁盘存储单元20中。存储控制单元10还能够检测所述多个磁盘存储单元20的在线状况(即磁盘存储单元20与存储控制单元10的电连接状况)，并获取每个磁盘存储单元20中存储的文件块的列表。在所述多个磁盘存储单元20中出现剩余存储容量相对较大的磁盘存储单元时(比如新增了磁盘存储单元，或原有的磁盘存储单元释放了新的可用空间等)，所述存储控制单元10还用于将现有的多个磁盘存储单元20中的部分文件块转移到新增的磁盘存储单元中，当所述多个磁盘存储单元20的数量减少时，根据减少的磁盘存储单元的文件块列表将减少的磁盘存储单元中的文件在剩余的磁盘存储单元中进行备份。

图2示出了一种在多个磁盘存储单元中存储文件的方法。

在步骤210中，将需要存储的文件分割成多个文件块。

当确定要对某文件进行存储时，存储控制单元将该需要存储的文件分割成多个文件块，以便分别存储在所述多个磁盘存储单元中。

存储控制单元对文件进行分割时，根据存储文件的类型、存储文件的预计读取频率以及磁盘存储单元的数量中的至少一者来确定将所述文件分割成的文件块的数量。举例来讲，对于占用空间较大的媒体文件可以选择较大的文件块大小，而对于占用空间较小的文档文件则可以选择较小的文件块大小。其中，优选的将文件分割成大小相同的文件块，并且每个文件块的大小应该为基本存储单位的倍数。

在一种实施方式中，对每个存储的文件进行编号，并对每个文件的每个文件块进行第二重编号，同时在存储控制单元中建立索引，以便在读取文件时按照索引对需要读取的文件块进行顺序读取。

在步骤220中，设置所述文件块的副本数量，其中该副本数量小于所述多个磁盘存储单元的数量。

首先，某文件块的副本指的是按照该文件块复制的相同的文件块，在实际存储过程中，通常是在磁盘中创建多个相同的文件块，这些文件块相互之间是等同的，但为了方便描述，可以选定一个文件块，而将其他文件块视为该文件块的副本。

存储副本一方面是为了提高文件存储的安全性，当因意外损失掉一个磁盘存储单元时，仍能够从剩余的磁盘存储单元中找到损失的文件，从而避免文件的彻底丢失；另一方面，在多个用户同时访问相同的文件块时，能够提高磁盘性能，避免过多的用户拥塞到同一个磁盘存储单元。设定的副本数量越大，以上的作用就越明显。

在一种实施方式中，在任何一次进行文件存储时，针对所有文件设定相同的副本数量。可替换地，在另一种实施方式中，针对不同文件分别设定副本数量。可替换地，在另一种实施方式中，针对相同文件中的不同的文件块分别设定副本数量。在为不同的文件块分别设定副本数量时，可以利用文件块的类型、文件块的预计读取频率以及磁盘存储单元的数量中的至少一者。

优选地，所述副本数量加一等于所述多个磁盘存储单元的数量。

在步骤230中，获取所述多个磁盘存储单元中的每个磁盘存储单元的磁盘剩余空间大小。

所述磁盘剩余空间大小可以在对文件进行存储后由存储控制单元进行更新，比如在建立文件块索引时进行更新，也可以在需要进行存储时，基于存储控制单元发出的查询命令而进行更新。

在步骤240中，根据所述磁盘剩余空间大小和所述副本数量将所述多个文件块和其中每个文件块的所有副本存储在所述多个磁盘存储单元中，其中每个文件块和该文件块的每个副本分别存储在不同的磁盘存储单元中。

优选地，将所述多个文件块以及文件块副本存储到磁盘剩余存储空间最大的磁盘存储单元中。

在一种实施方式中，将同一文件所分成的文件块分散地存储到尽量多的磁盘存储单元中，以便在多用户读取同一文件的不同文件块时尽可能的加快读取速度。可替换地，也可以将更为热门的文件(预计读取频率高的资源)存储到更多的磁盘存储单元中，而热度较低的文件则存储到较少的磁盘存储单元中。

在一种实施方式中，当需要在一个磁盘存储单元中存储同一个文件中的多个文件块时，优选地，将多个连续的文件块存储在该磁盘存储单元中。

图3示出了一种对使用图2中的方法进行文件存储的包括多个磁盘存储单元的文件存储系统进行存储分配的方法，该方法对应于对文件存储系统进行扩容的情况。

在步骤310中，获取所述文件存储系统中的在线的磁盘存储单元的磁盘剩余空间大小。

当在所述多个磁盘存储单元20中检测到剩余存储容量相对较大的磁盘存储单元时(比如新增了磁盘存储单元，或初始的磁盘存储单元释放了新的可用空间等)，需要将原有的磁盘存储单元中的部分文件转移到这些剩余存储容量相对较大的磁盘存储单元中，从而使所有磁盘存储单元处于更为均衡的存储状态，提高整个文件存储系统的性能。

在步骤320中，根据所述磁盘剩余空间大小，将所述在线的磁盘存储单元分为多组，该多组磁盘存储单元中包括第一组磁盘存储单元，该第一组磁盘存储单元的每个磁盘存储单元的磁盘剩余空间均大于其它组中的一个磁盘存储单元的磁盘剩余空间，将所述第一组磁盘存储单元中的至少一个文件块转移到其它组中的至少一个磁盘存储单元中，其中其它组中的每一个磁盘存储单元不含有相同的文件块。

其中，被转移的文件块为多个，该多个被转移的文件块中的相同的文件块被转移到不同的磁盘存储单元中。

优选地，将所述第一组磁盘存储单元中的至少一个文件块优先转移到其它组中的磁盘剩余空间最小的一个或多个磁盘存储单元中。

其中，将所述第一组磁盘存储单元中的至少一个文件块转移到其它组中的至少一个磁盘存储单元中包括：从所述第一组磁盘存储单元中选择将要迁移的至少一个文件块；从其他组中选择至少一个磁盘存储单元；在所选择的至少一个磁盘存储单元中创建所述至少一个文件块；以及在所述第一组磁盘存储单元中删除已被迁移的所述至少一个文件块。

在一种优选实施方式中，在进行文件块转移后，各个磁盘存储单元中的文件块数量处于相对均衡的状态，即各个磁盘存储单元中的文件块数量相近。可替换地，在另一种优选实施方式中，在进行文件块转移后，各个磁盘存储单元中的存储空间被占用的百分比处于相对均衡地状态，其中所述被占用的百分比，可以由占用空间大小和剩余空间大小得到。

在一种实施方式中，在进行文件转移后，将同一文件所分成的文件块被尽可能分散地存储到全部磁盘存储单元中，以便在多用户读取同一文件的不同文件块时尽可能的加快读取速度，因此，在将要进行文件转移的磁盘存储单元中，如果属于某文件的文件块较多，则优先选取该文件的文件块进行转移。可替换地，在另一实施方式中，优选的对更为热门的文件(读取频率高的资源)的文件块进行转移。

在一种实施方式中，当需要向一个磁盘存储单元中转移属于某一个文件的多个文件块时，优选地，将属于该文件的连续文件块转移到该磁盘存储单元中。

在一种实施方式中，在步骤310之前，该方法还包括：检测所述文件存储系统中的磁盘存储单元的在线状况。

存储控制单元检测文件存储系统中的磁盘存储单元的状态是否发生了变化。存储控制单元能够获知其所控制的每个磁盘存储单元是否与其相连(即在线状况)，并能够在有新的磁盘存储单元加入时通过检测过程及时地获知，并对该新增的磁盘存储单元进行控制。

该检测步骤可以是周期性的执行的，也可以在接收到系统指令时执行，举例来讲，当有新的磁盘存储单元接入到文件存储系统中时，存储控制单元可能会接收到指示有新设备接入的指令，存储控制单元基于该指令进行磁盘检测，发现并识别该新增的磁盘存储单元，并开始对其进行控制。

图4示出了一种对使用图2中的方法进行文件存储的包括多个磁盘存储单元的文件存储系统进行存储分配的方法，该方法对应于减容的情况。

在步骤410中，检测所述文件存储系统中的磁盘存储单元的在线状况。

存储控制单元检测文件存储系统中的磁盘存储单元的状态是否发生了变化。存储控制单元能够获知其所控制的每个磁盘存储单元是否与其相连(即在线状况)，并能够在减少了磁盘存储单元时通过检测过程及时地获知，并对所减少的磁盘存储单元中的文件块及时进行恢复。

该检测步骤可以是周期性的执行的，也可以在接收到系统指令时执行，举例来讲，当检测到磁盘存储单元减少时，存储控制单元可能会接收到指示丢失磁盘的指令，存储控制单元基于该指令进行磁盘检测，从存储控制单元获取丢失的文件块列表，并开始对列表上的文件块进行恢复。

在步骤420中，当检测到减少了磁盘存储单元时，获取该磁盘存储单元的文件块列表。

当检测到磁盘存储单元减少时，需要查找到该磁盘存储单元中所包含的文件块，即文件块列表，存储控制单元可以从存储信息中获得该文件块列表，在随后的步骤中，存储控制单元可以基于该列表对损失的文件块进行复制，从而恢复文件存储系统原有的安全性。

在步骤430中，从所述多个磁盘存储单元中的剩余磁盘存储单元中查找与所述文件块列表中所列的文件块相同的文件块。

该查找步骤也是基于存储过程中所建立的索引进行的，存储控制单元按照获得的文件块列表，逐个在剩余的存储器中进行遍历查找。

在步骤440中，在保证相同的文件块不重复存储在同一磁盘存储单元的条件下，在剩余磁盘存储单元中尽量多地创建所查找到的文件块的副本。

优选地，创建所查找到的每个文件块的副本数量不多于减少的磁盘存储单元存储的该文件块的副本数量。其中优先在所述剩余磁盘存储单元中的磁盘剩余空间最大的一个或多个磁盘存储单元中创建所述文件块的副本。

具体来讲，还可以分两种情况进行更为细致的说明。

第一种情况，当减少了一个磁盘存储单元时，在所查找到的文件块的所设置的副本数量加一小于所述剩余磁盘存储单元的数量的条件下，在所述剩余磁盘存储单元中创建该文件块的另一副本，其中该另一副本与该文件块以及该文件块的其他副本位于不同的磁盘存储单元中。

由于磁盘存储单元的数量减少了，当按照先前设定的文件块副本数量来恢复丢失的文件块时，有可能会出现问题。举例来讲，考虑各个文件块的副本数量相同的情况，如果原有5个磁盘存储单元，而每个文件块都具有4个副本，当损失了一个磁盘存储单元时，总共还剩下4个磁盘存储单元，对于每个文件块来讲即使损失了一个副本，其剩余的3个副本加上该文件块本身已经等于4，这时便没有必要对损失的文件块进行恢复了。事实上，这种情况等同于RAID存储的磁盘备份，不适用于图4中的存储分配方法。

第二种情况，当检测到减少了M个(M是大于1且小于或等于所有文件块的副本数量中的最小值N_min的整数)磁盘存储单元时，假定该M个磁盘存储单元中存储的文件块的列表中的每个文件块减少的数量为S_i(S_i是所述文件块列表中第i个文件块的减少的数量)。

那么，在为所述文件块列表中的文件块的设置的副本数量加一小于所述剩余磁盘存储单元的数量的条件下，在所述剩余磁盘存储单元中为该文件块创建S_i个副本，否则，在所述剩余磁盘存储单元中为该文件块创建T_i-1个副本，其中T_i为剩余磁盘存储单元的数量与该文件块的剩余副本数量的差，其中，每个文件块的各个副本与该文件块以及该文件块的其他副本位于不同的磁盘存储单元中。

在第二种情况中，如果在减少了M个磁盘存储单元后，剩余的磁盘存储单元数目仍然大于某个文件块的设置的副本数量加一(即该文件块的所有副本与该文件块本身的数量之和)，则在剩余的磁盘存储单元中能够容纳该文件块的所有副本(所设置的副本数量)，因此，在所述剩余磁盘存储单元中为该文件块创建的副本数量等于该文件块损失的副本数量。否则，剩余磁盘存储单元中无法容纳所设置的数量的副本，则在每个不具有该文件块的剩余磁盘存储单元中创建一个该文件块的副本，即为该文件块创建T_i-1个副本，其中T_i为剩余磁盘存储单元的数量与该文件块的剩余副本数量的差。

在图4的方法中，存储控制单元将查找到的文件块复制到剩余的磁盘存储单元中，该复制过程与图3中的文件转移类似，所不同的是在步骤440中，只是在其它磁盘存储单元中创建查找到的文件的副本，而不会删除查找到的文件，不属于转移过程。

本发明所提出的文件存储方法，以及对使用该文件存储方法进行存储的文件存储系统进行存储分配的方法通过将文件划分成文件块分别存储到多个磁盘存储单元中，很好的解决了多用户访问同一文件时的速度受限问题，并通过文件块冗余在进一步提高磁盘存储单元的性能的同时，有效地提高了文件存储系统的安全性。

Claims (15)

1.一种在多个磁盘存储单元中存储文件的方法，该方法包括：

将需要存储的文件分割成多个文件块，对每个存储的文件进行编号，并对每个文件的每个文件块进行第二重编号，并建立索引；

设置所述文件块的副本数量，其中该副本数量小于所述多个磁盘存储单元的数量；

获取所述多个磁盘存储单元中的每个磁盘存储单元的磁盘剩余空间大小；

根据所述磁盘剩余空间大小和所述副本数量将所述多个文件块和其中每个文件块的所有副本存储在所述多个磁盘存储单元中，其中每个文件块和该文件块的每个副本分别存储在不同的磁盘存储单元中。

2.根据权利要求1所述的方法，其中根据存储文件的类型、存储文件的预计读取频率以及磁盘存储单元的数量中的至少一者来确定将所述文件分割成的文件块的数量。

3.根据权利要求1或2所述的方法，其中所分割成的各个文件块的大小相同。

4.根据权利要求1所述的方法，其中根据文件块的类型、文件块的预计读取频率以及磁盘存储单元的数量中的至少一者，为每个文件块分别设定副本数量。

5.根据权利要求1所述的方法，其中优先将所述多个文件块以及文件块副本存储到磁盘剩余存储空间最大的磁盘存储单元中。

6.根据权利要求1所述的方法，其中所述副本数量加一等于所述多个磁盘存储单元的数量。

7.一种对根据权利要求1-6中的任一项权利要求的方法进行存储的文件存储系统进行存储分配的方法，该方法包括：

a)获取所述文件存储系统中的在线的磁盘存储单元的磁盘剩余空间大小；

b)根据所述磁盘剩余空间大小，将所述在线的磁盘存储单元分为多组，该多组磁盘存储单元中包括第一组磁盘存储单元，该第一组磁盘存储单元的每个磁盘存储单元的磁盘剩余空间均小于其它组中的一个磁盘存储单元的磁盘剩余空间，将所述第一组磁盘存储单元中的至少一个文件块转移到其它组中的至少一个磁盘存储单元中，其中其它组中的每一个磁盘存储单元不含有相同的文件块。

8.根据权利要求7所述的方法，其中，被转移的文件块为多个，该多个被转移的文件块中的相同的文件块被转移到不同的磁盘存储单元中。

9.根据权利要求7所述的方法，其中在线的磁盘存储单元包括所述文件存储系统的初始磁盘存储单元和增加的至少一个磁盘存储单元。

10.根据权利要求7所述的方法，其中将所述第一组磁盘存储单元中的至少一个文件块优先转移到其它组中的磁盘剩余空间最大的一个或多个磁盘存储单元中。

11.根据权利要求7所述的方法，其中将所述第一组磁盘存储单元中的至少一个文件块转移到其它组中的至少一个磁盘存储单元中包括：

从所述第一组磁盘存储单元中选择将要迁移的至少一个文件块；

从其他组中选择至少一个磁盘存储单元；

在所选择的至少一个磁盘存储单元中创建所述至少一个文件块；以及

在所述第一组磁盘存储单元中删除已被迁移的所述至少一个文件块。

12.根据权利要求7所述的方法，其中在步骤a)之前还包括：

c)检测所述文件存储系统中的磁盘存储单元的在线状况。

13.一种对根据权利要求1-6中的任一项权利要求所述的方法进行存储的文件存储系统进行存储分配的方法，其中所述文件存储系统包括初始的多个磁盘存储单元，该方法包括：

检测所述文件存储系统中的磁盘存储单元的在线状况；

当检测到减少了磁盘存储单元时，执行以下操作：

获取该磁盘存储单元的文件块列表；

从所述多个磁盘存储单元中的剩余磁盘存储单元中查找与所述文件块列表中所列的文件块相同的文件块；

在保证相同的文件块不重复存储在同一磁盘存储单元的条件下，在剩余磁盘存储单元中尽量多地创建所查找到的文件块的副本。

14.根据权利要求13所述的方法，创建所查找到的每个文件块的副本数量不多于减少的磁盘存储单元存储的该文件块的副本数量。

15.根据权利要求13所述的方法，其中优先在所述剩余磁盘存储单元中的磁盘剩余空间最大的一个或多个磁盘存储单元中创建所述文件块的副本。