CN101281542A - 一种文件存储方法及装置 - Google Patents

Abstract

本发明公开了一种文件存储方法，在存储装置中设置N个存储单元，N为正整数，N≥2，该方法包括：将所存文件的元数据和/或常用文件的内容数据保存在其中M个存储单元中，M为正整数，且M＜N；将不常用文件的内容数据分别保存在其余N－M个存储单元中。本发明还提供了一种文件存储装置，包括N个存储单元，其中M个存储单元，用于保存所存文件的元数据和/或常用文件的内容数据；其余N－M个存储单元，分别用于保存不常用文件的内容数据。根据本发明可缩短查找文件内容的响应时间，提高文件访问的速度和效率，并可有效地降低存储设备的整体成本。

Description

一种文件存储方法及装置

技术领域

本发明涉及信息技术领域，具体涉及文件存储方法及装置。

背景技术

信息数据存储是实现信息集中管理的必要条件，是信息管理系统中信息存储是重要的环节。随着社会的发展科技进步，各种机构为了自身的发展而需要存储管理的信息数据越来越多，各种应用信息系统中创建的文件越来越多，很多信息数据、文件需要保存备查，用户也很少删除已保存的数据和文档，这就导致要访问旧一些的文件已经变得非常困难。面对不断增长的信息数据量，采用科学合理的存储方式有利于大量信息的集中管理与检索。

为此，现有技术中已广泛采用的分级存储是指将需要存储的信息数据存储到多个存储装置中，通常是根据信息数据的重要性、被访问频次等指标分别存储在不同性能的存储装置中，目前常用于信息数据存储的存储装置主要有磁盘(包括磁盘阵列)、磁带(包括磁带机和磁带库)和光盘(包括一切CD-R、CD-RW、DVD-R、DVD-RW等光盘塔和光盘库设备)。随着存储数据信息的增加，这样将用户拥有的所有存储资源统一管理，提高每种存储装置的利用率，不仅可大大减少非重要性数据在一级本地磁盘所占用的空间，还可提高整个系统的存储性能。采用分级存储可以有效的提高文件系统的整体的访问速度，既能最大限度地满足用户随时访问所有需要经常使用的数据的要求，又可使存储成本最小化。

现有技术中常用的一种信息数据存储方式是：根据文件数据的使用频率将文件数据存储到不同的存储单元中，将常用的数据存放在其中几个存储单元，将不常用的数据存储在其他存储单元。

在这种存储方式下，因为经常访问的是所存储的常用数据，所以在多数情况下，只有常用数据所在的存储装置在工作，使得在正常情况下访问和搜索的有效存储空间就比原来随机存储时小的多了，从而减少了搜索的时间。只有当访问不常用的数据时，相应的搜索空间才会加大，搜索时间也会相应的增加。

但是，当访问不常用的数据时，访问的方式和访问常用数据相比效率低得多。在这种存储结构下，文件的搜索时间是和系统需要搜索的存储空间大小成正比的，因为不常用文件数据量是常用文件数据量的2-3倍甚至更多，相应的搜索和访问的时间就会增大至少2-3倍，使得访问不常用文件的效率很低。

这种存储方式是将同一文件的元数据和文件内容存储在同一个存储装置上，所以查找不常用文件的元数据平均所需要查找的存储空间同样要比查找常用文件的元数据的存储空间大2-3倍，使得查找不常用文件的元数据的效率也很低。

发明内容

本发明提供一种文件存储方法及装置，可提高文件访问的速度。

本发明实施例提供一种文件存储方法，在存储装置中设置有N个存储单元，N为正整数，N≥2，该方法包括：

将所存文件的元数据和/或常用文件的内容数据保存在其中M个存储单元中，M为正整数，且M＜N；

将不常用文件的内容数据分别保存在N-M个存储单元中。

本发明实施例提供的一种文件存储装置，其特征在于，包括N个存储单元，N≥2，N、M为自然数，且M＜N；其中，

M个存储单元，用于保存所存文件的元数据和/或常用文件的内容数据；

N-M个存储单元，分别用于保存不常用文件的内容数据。

本发明实施例还提供一种文件存储系统，包括：

调度控制单元，用于控制将不同的文件数据存储到相应的存储单元中；

N个存储单元，用于存储文件数据；

N-M个存储单元，分别用于保存不常用文件的内容数据；

所述调度控制单元将查找文件内容必需的元数据和/或常用文件的内容数据保存在其中M个存储单元中；将不经常访问的文件内容数据保存在其中N-M个存储单元中，N≥2，N、M为正整数，且M＜N。

本发明实施例提供的技术方案中，将寻找文件必需的元数据以及常用文件放在高速存储介质中，缩短了找到文件内容的等待时间，提高了文件访问的速度；将部分文件的内容放在低速存储介质中，有效地降低了存储设备的整体成本。

附图说明

图1为本发明实施例提供的文件存储方法的流程图；

图2为本发明实施例提供的文件存储装置的架构示意图；

图3为本发明实施例提供的文件存储系统的示意图；

图4为本发明的具体应用实施例中存储装置的架构示意图。

具体实施方式

通常，在文件系统中，一个文件可以分为文件的元数据和文件的内容两个部分。文件的元数据包含这个文件的属性信息和文件内容在存储介质中所处的位置信息；文件的内容就是这个文件中记录的信息。在读写一个文件时，首先，要找到这个文件的元数据，然后，才能根据元数据中的信息找到存储在存储介质中的文件的内容。

本发明实施例通过设置多个存储单元，将文件系统中所保存文件的元数据和文件内容分别存储在不同存储介质中，将文件系统中所存文件的元数据以及常用文件的内容数据保存在采用高速存储介质的存储单元中；而将不常用文件的内容数据保存在其余存储单元中，从而实现快速地查找文件。

本发明实施例提供的一种文件存储方法的流程，步骤如下：

S01，在文件存储装置中设置多个存储单元，这些存储单元分别采用高速的存储介质和低速的存储介质；

由于高速存储介质可提供较高的访问速度，在同样的存储方式下，对相同文件的访问，高速存储介质可以使整体的访问时间缩短。

但是，高速存储介质的成本要比低速存储介质的成本高，如果将所有的数据全部存储在高速存储介质中，会使存储介质的整体造价很高。鉴于此，本发明实施例中将不同的信息有区别地分别存储在高速存储介质和低速存储介质构成的存储单元上，可以有效的降低存储介质的成本，因为有很大一部分原来使用高速存储介质保存的信息替换为使用价格较低的低速存储介质存储。

S02，将查找文件内容必需的元数据全部保存在高速存储介质中；

在访问一个文件时，必须首先要找到它的元数据，通过元数据查找到这个文件的内容。这就是说在找到文件内容之前，需要一段等待时间，这个等待时间的长短与找到这个文件元数据所用时间有关。当这个时间短时，相应的等待时间也就会短一些。

通过将所有文件的元数据放在高速存储介质中，可以有效地减少查找元数据所在的存储空间，相应的也就缩短了查找元数据的时间，最终可以缩短我们在找到文件内容前的等待的时间。

S03，将经常访问的文件内容也放在高速存储介质中；

在平时的文件访问中，超过50％的访问是针对某些特定文件的。将这些经常被访问到的文件内容也放在高速存储介质中，可以提高访问这些文件的速度。由于这些常用文件的访问在所有的访问中所占的比率较大，显然，只要将这部分内容的访问速度、效率提高，也就可使得文件系统整体的访问效率提高。

因此，本发明实施例将文件系统中常用文件的内容数据保存在采用高速存储介质的存储单元中；而将不常用文件的内容数据保存在其余存储单元中，从而实现快速地查找文件。常用文件通常是指被访问次数达到预定量的文件。

所存文件的元数据、常用文件的内容数据存储的位置可能不限于一个存储单元中，当磁盘数很多时，这些数据可以存储在后面的几个特定的磁盘中。比如，如果有10个磁盘，那么可以将它们存储在1、2两个磁盘中，甚至1、2、3三个磁盘中。将元数据、常用文件的内容数据、不常用文件的内容数据开始的部分单独拿出来存储的目的有两个，一是使搜索它们时查找的空间尽量小，所以只要将它们存储在少数几个特定的磁盘内即可；二是搜索它们的速度尽量快，所以给他们提供快速的磁盘。

S04，将不经常被访问的文件内容开始的一部分数据，通常是较少的部分内容，放在高速的存储介质中；

具体应用实例中，有较少一部分访问是针对较多的所存文件的，比如，实际使用中有30％左右的访问是针对其中超过50％的文件的，若将这部分文件开始的很少的一部分放在高速存储介质中，可以缩短找到文件这部分内容的时间。通常对文件是从开始到结束顺序处理的，这时由于找到了文件开始的一部分，就可以对该开始的一部分先做处理。在处理这些数据的过程中，就可以找到该文件在低速存储介质中剩余的部分。在这种状态下，就可显著地缩小访问不常访问文件的响应时间，这样，与访问经常访问文件也就没有太大差别。

由此可见，将不经常访问的文件的开始部分放在高速存储介质中，提高了对这部分文件访问的响应时间。

S05，将不经常访问的文件内容的剩余部分放在低速存储介质中；

将不常访问的文件的剩余部分放在低速存储介质上，虽然使得读取文件这一部分内容的速度降低，响应时间相对较长，但由于这些内容很少被访问到，即对它们的访问占所有文件访问的比率很小，所以对整体的访问速度没有太大的影响。

在本发明实施例中，多个存储单元采用不同类型的存储介质，按介质类型分为至少两个等级，比如，高速，中速，低速，更低速等。将文件系统中所存文件的元数据以及常用文件的内容数据保存在采用高速存储介质的存储单元中，将不常访问的文件的内容分成若干部分，分别存储其他的采用高速或低速存储介质的存储单元中。

还可将不同的文件信息有区别地存储到不同的存储单元中，

若所有存储单元采用同种存储介质中，也可能会根据不同的文件信息有区别地存储这些采用相同的存储介质存储单元中。这样也可提高访问文件的速度和效率。

具体地，所述N个存储单元中至少两个存储单元采用相同类型的存储介质，将所存文件的元数据以及常用文件的内容数据保存在其中一个存储单元，而将不常用文件的内容数据分成若干数据块，将所述若干数据块保存在其余存储单元中。

图2为本发明实施例提供的文件存储装置的架构示意图。参照图2，本发明实施例提供的一种文件存储装置，包括：

N个存储单元，N≥2，N、M为正整数，且M＜N；

其中M个存储单元，用于保存所存文件的元数据和/或常用文件的内容数据；

为了提高访问速度和效率，所述M个存储单元采用高速存储介质，将所有文件的元数据放在这些高速存储介质中，可以有效地减少查找元数据所在的存储空间，相应的也就缩短了查找元数据的时间，最终可以缩短在找到文件内容前的等待的时间。

将这些经常被访问到的文件内容也放在高速存储介质中，可以提高访问这些文件的速度。由于这些常用文件的访问在所有的访问中所占的比率较大，显然，只要将这部分内容的访问速度、效率提高，也就可使得文件系统整体的访问效率提高。

其余N-M个存储单元，分别用于保存不常用文件的内容数据。

当存储单元(如磁盘)数很多时，所存文件的元数据、常用文件的内容数据存储的位置可能不限于一个存储单元中，这些数据可以存储在后面的几个特定的磁盘中。比如，N＝10，M＝3共有10个磁盘，那么可以将它们存储在其中的3个磁盘中，其余7个磁盘用于保存不常用文件的内容数据。将元数据、常用文件的内容数据、不常用文件的内容数据开始的部分另行单独存储的目的在于，一是使搜索它们时查找的空间尽量小，所以只要将它们存储在少数几个特定的磁盘内即可；二是搜索它们的速度尽量快，所以给它们提供快速的磁盘。

在所述M个存储单元中还保存有所述不常用文件起始部分的内容数据。

所述N个存储单元中至少两个存储单元采用不同类型的存储介质。

本发明实施例还提供一种文件存储系统，如图3所示，该系统包括：

调度控制单元，用于控制将不同的文件数据存储到相应的存储单元中；

具体地，将查找文件内容必需的元数据和/或常用文件的内容数据保存在高速存储单元中；将不经常访问的文件内容的剩余部分放在低速存储单元中；

N个存储单元，N≥2，N、M为正整数，且M＜N；

其中M个存储单元，用于保存所存文件的元数据和/或常用文件的内容数据；其余N-M个存储单元，分别用于保存不常用文件的内容数据。

为了提高访问速度和效率，所述M个存储单元采用高速存储介质，将所有文件的元数据放在这些高速存储单元中，可以有效地减少查找元数据所在的存储空间，相应的也就缩短了查找元数据的时间，最终可以缩短在找到文件内容前的等待的时间。

另外，将经常被访问到的文件内容也放在高速存储单元中，可以提高访问这些文件的速度。

应用实施例

在提供多媒体、音频、视频服务的服务器上，有海量的影视节目数据需要存储。当一部或几部影视节目热播时，会有超过50％的访问都是针对这几部影视节目的，访问其他大量的影视节目、多媒体内容所占的比例将很小。将这几部影视节目数据文件的元数据和内容放在高速存储的介质上，就可以响应超过一般的应用。

在频繁访问这几部影视节目同时，也会有对其他影视节目、多媒体内容的访问。参照图4，提供多媒体、音频、视频服务的服务器的存储装置包括存储单元I和存储单元II，其中存储单元I中保存有该服务器中的所有多媒体、音频、视频文件的元数据和开始部分，以及播放频率较高的节目内容数据文件。通常存储单元I采用高速存储介质。

当其中的影视节目A热播时，大多数的访问会是针对它的。这时，由于影视节目A的元数据a和节目内容数据放在高速存储介质上，可以提高对访问它的响应速度，从而提升整体的服务效率。与此同时，可能还会有少量的访问是针对影视节目B的，将影视节目B的元数据b和开始部分Vb的很少量的数据放在高速的存储单元I上，影视节目B的其余部分内容数据保存在存储单元II上这样，找到它们的时间和找到影视节目A的元数据a和开始部分数据的时间基本是一样的。整部电影以120分钟计，如果将前30秒以内的数据即小于整体1/240的数据或者更少的数据放在高速的存储单元I上，服务器就可以利用处理这部分数据的时间从存储单元II上找到影视节目B的其余部分内容数据。

假如存储影视节目B的其余部分的是低速的存储介质，在读取这部分数据时速度会降低，但是由于对它的访问很少，所以对整体的性能不会有影响。但是，对访问影视节目B的响应时间却缩短了，访问效率也就相应地提高了。

本领域技术人员可以理解，上述实施例中的全部或部分模块或各步骤是可以通过程序来指令相关硬件来实现，所述程序可存储于计算机可读取存储介质中，所述存储介质，如ROM/RAM、磁盘、光碟等。或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

上述实施例是用于说明和解释本发明的原理的。可以理解，本发明的具体实施方式不限于此。对于本领域技术人员而言，在不脱离本发明的实质和范围的前提下进行的各种变更和修改均涵盖在本发明的保护范围之内。因此，本发明的保护范围由权利要求确定。

Claims (11)

1、一种文件存储方法，其特征在于，在存储装置中设置有N个存储单元，N为正整数，N≥2，该方法包括：

将所存文件的元数据和/或常用文件的内容数据保存在其中M个存储单元中，M为正整数，且M＜N；

将不常用文件的内容数据分别保存在N-M个存储单元中。

2、如权利要求1所述的方法，其特征在于，

所述常用文件包括被访问次数达到预定量的文件。

3、如权利要求1所述的方法，其特征在于，还包括：

将所述不常用文件起始部分的内容数据保存在所述M个存储单元中。

4、如权利要求1、2或3所述的方法，其特征在于，所述M个存储单元中至少之一采用高速存储介质。

5、如权利要求1、2或3所述的方法，其特征在于，所述N个存储单元中至少两个存储单元采用不同类型的存储介质，该方法进一步包括：

将所述将不常用文件的内容数据分成至少两个数据块；

按照所采用存储介质的类型将所述若干数据块保存在N-M个存储单元中。

6、如权利要求1、2或3所述的方法，其特征在于，所述N个存储单元采用相同类型的存储介质，该方法进一步包括：

将不常用文件的内容数据分成至少两个数据块，将所述若干数据块保存在N-M个存储单元中。

7、一种文件存储装置，其特征在于，包括N个存储单元，N≥2，N、M为自然数，且M＜N；其中，

M个存储单元，用于保存所存文件的元数据和/或常用文件的内容数据；

N-M个存储单元，分别用于保存不常用文件的内容数据。

8、如权利要求7所述的文件存储装置，其特征在于，

在所述M个存储单元中还保存有所述不常用文件起始部分的内容数据。

9、如权利要求7或8所述的文件存储装置，其特征在于，所述M个存储单元中至少之一采用高速存储介质。

10、一种文件存储系统，其特征在于，包括：

调度控制单元，用于控制将不同的文件数据存储到相应的存储单元中；

N个存储单元，用于存储文件数据；

N-M个存储单元，分别用于保存不常用文件的内容数据；

所述调度控制单元将查找文件内容必需的元数据和/或常用文件的内容数据保存在其中M个存储单元中；将不经常访问的文件内容数据保存在其中N-M个存储单元中，N≥2，N、M为正整数，且M＜N。

11、如权利要求10所述的文件存储系统，其特征在于，所述N个存储单元中至少两个存储单元采用不同类型的存储介质，所述M个存储单元中至少之一采用高速存储介质。

Images