CN102201005A - 一种文件系统的流媒体增强文件布局方法 - Google Patents

Abstract

一种文件系统的流媒体增强布局方法，用于改善各种针对批量数据存储系统的输入输出性能。包括基于区段的磁盘文件存储分配策略,以提高单个磁盘I/O操作的效率；对元数据和文件数据使用不同大小的磁盘数据块进行存储的策略，提高大文件的磁盘I/O效率；在写入新文件时采用基于分配映射表的存储分配策略来优化文件系统的操作过程，提高文件系统的整体性能；对单个文件和元数据的存储使用动态分段策略,将数据动态分段存放到多个磁盘上,利用多个磁盘可以并行工作的特点提高数据的存取性能；支持基于数据块的文件数据和元数据复制,以实现文件系统的容错功能。优点:在文件系统基本功能的基础上，通过流媒体增强布局方法的多种策略，提高存储系统的输入输出性能。

Description

一种文件系统的流媒体增强文件布局方法

技术领域

本发明涉及一种文件系统的流媒体增强文件布局方法，用于改善各种针对批量数据存储系统的输入输出性能，包括各种多媒体系统，如视频点播(VoD)，网络电视，视频会议和视频监控系统等。

背景技术

快速批量处理数据的应用变得越来越重要，特别是多媒体数据，因其本质上具有连续性和实时性，存储的读写性能尤为关键。对于这样的数据存储，本地文件系统必须能够有效地处理长时间持续数据的及时读写操作，以支持多媒体数据流应用。然而，目前大多数操作系统的文件系统设计只是为了处理一般性数据的文件I/O，因此目标通常是优化磁盘空间的使用情况。这样的文件系统不适合批量处理海量数据的存储和管理。因此，需要有一个充分考虑这类数据特点的文件系统机制，从而有效地处理多媒体数据类型，方便各种多媒体应用。

发明内容

针对当前文件系统在快速批量处理海量数据方面的问题，本发明公开了一种文件系统的流媒体增强文件布局(streaming-enhanced layout of files，以下简称SELF)方法，在文件系统基本功能的基础上，通过流媒体增强文件布局方法的多种策略，来提高存储系统在批量处理海量数据时的输入输出性能。

本发明的任务是这样来完成的，一种文件系统的流媒体增强文件布局方法，其特征在于：所述的文件系统的流媒体增强文件布局方法使用基于区段的磁盘文件存储分配策略，以提高单个磁盘I/O操作的效率；对元数据和文件数据使用不同大小的磁盘数据块进行存储的策略，提高大文件的磁盘I/O效率；在写入新文件时采用基于分配映射表的存储分配策略来优化文件系统的操作过程，从而提高文件系统的整体性能；对单个文件和元数据的存储使用动态分段策略，将数据动态分段存放到多个磁盘上，利用多个磁盘可以并行工作的特点提高数据的存取性能；支持基于数据块的文件数据和元数据复制，以实现文件系统的容错功能。

在本发明的一个具体的实施例中，所述的基于区段的磁盘文件存储分配策略，其将文件分成不同的条块，每一条块作为一个单位以连续数据块序列的方式存储在磁盘上，并描述为每个磁盘上的逻辑偏移和长度，这一技术允许使用单个磁盘I/O将大量数据从磁盘中检索出来，通过减少磁盘位置查找的时间和次数提高文件系统性能。

在本发明的另一个具体的实施例中，所述的对元数据和文件数据使用不同大小的磁盘数据块进行存储的策略，其使用较大的磁盘数据块来存储文件数据，使用较小的磁盘数据块来存储元数据，对于非常小的文件，数据存储在文件系统i节点本身块的指针位置，可以提高大文件的磁盘I/O效率。

在本发明的又一个具体的实施例中，所述的在写入新文件时采用的基于分配映射表的存储分配策略，其通过将分配映射表划分为多个可锁定的区域，在分配磁盘空间时允许只锁定单一的分配区域，从而最大限度的减少了分配磁盘空间时的互锁冲突；通过分配映射表对磁盘上不同访问性能的区域(如磁盘外侧访问较快而内侧较慢)分配给不同的数据(如较常用的数据存放到访问性能较高的区域)，来提高磁盘系统的整体性能。

在本发明的还有一个具体的实施例中，所述的对单个文件和元数据的存储使用的动态分段策略，其对每个数据文件动态地分段并存储到不同的磁盘；对元数据则分段或简单复制并存储到不同的磁盘，将数据动态分段存放到多个磁盘上的策略，可以利用多个磁盘能够并行工作的特点提高数据的存取性能。

本发明由于采用上述技术方案后，具有的效果：所述的文件系统的流媒体增强文件布局方法针对多媒体应用优化了本地文件系统机制，大大提高了了本地文件系统上多媒体文件的读写性能，基于这种流媒体增强文件布局方法的文件系统可以用作高性能网络存储系统的多媒体数据存储和管理的重要组成部分。

具体实施方式

下面给出一个流媒体增强文件布局方法具体实施方式的详细说明。

这是一个使用流媒体增强文件布局方法的、与Unix兼容的优化网络多媒体文件访问的文件系统，是一个基于区段分配的文件系统。它使用i节点来描述文件。其元数据大致相当于传统的Unix文件系统的元数据，但已大幅重新设计，能与网络文件系统(NFS)很好兼容和工作。每个文件系统存储在一个被称为条带组的专用磁盘组。每个文件系统中的文件被分配(或分割)存放在所有磁盘中相应的条纹组。文件系统的数据结构类似于传统的Unix文件系统，每个文件都有一个固定大小的i节点，其中包含了诸如文件大小和最后修改时间等信息。i节点指向间接区段，其本身也指向文件的数据块区段。为了有效地使用磁盘空间，允许使用不固定的、大小可变的数据块。较小的数据块存储元数据，而较大的数据块存储数据本身。不同于传统的Unix文件系统，任何对象(i节点，间接块，数据块等)都可以被复制。用于映射磁盘编号到物理磁盘名称的表格还包含相关信息以允许文件系统在磁盘各处分配副本以保证没有共同故障点。

此外，文件系统还使用写时复制的工作模式，以确保磁盘数据永远不会被覆盖，而且所有磁盘上的更新是原子性的，这也使快照功能成为可能。文件系统的所有磁盘组成一个共同的存储池，可以根据文件系统容量需求的变化在存储池中添加或删除磁盘。

元数据在这里只是指存储的多媒体文件的描述数据。提供多媒体流结构的多媒体元数据则在文件本身中定义，并且是该文件内容的一部分。

文件系统根目录的数据结构是数据条带组描述符，类似于Unix的超级块。它包含了整个文件系统的属性，指向其他数据结构的指针(例如i节点和布局映射文件)和数据条带组中每个磁盘的信息。数据条带组描述符被复制到条带组的每个磁盘，这样，条带组描述符的读写和更新等操作可以容忍像磁盘崩溃这样的故障。每个条带组的磁盘可以是数据磁盘(存储文件数据)，元数据磁盘(存储元数据)，或两者兼而有之。这将可以允许使用不同物理特性的磁盘来存放数据和元数据。

磁盘上的每个文件都有一个i节点。当一个文件被创建时，也同时配置一个相应的i节点，该i节点包含了文件属性以及定位文件数据块的必要信息。i节点结构的大小是固定的。每个结构包含了诸如文件名称空间，文件大小，文件创建时间，访问保护信息，用来存储文件的数据块大小，在文件中存储的数据类型和一个两级索引和映射信息，其中第一级索引将逻辑单位(例如，帧)映射到字节偏移量，而第二级索引将字节偏移量映射到磁盘数据块的位置。

所有数据和元数据的校验使用一个用户可选择的算法，校验值则存储在i节点和间接数据块，这样，这些故障模式可以检测出来并能恢复正常。所有校验和数据恢复完成在文件系统层面，对于应用程序是透明的。

文件系统使用一个类似于Unix的i节点结构来分配存储文件。一个i节点是一个包含文件信息的结构，每个文件至少有一个i节点，但每个i节点只包含一个文件的信息。当文件系统创建时，多个i节点结构也同时被配置，以保存关于这个文件系统的信息。

一个配置的i节点包含但不限于以下信息：

●文件所有者的标识

●文件所有者的组标识

●访问权限(包括扩展的访问权限)

●多媒体流的描述

●文件创建/上次访问/最后修改的日期和时间

●数据的副本数

●元数据的副本数

●数据本身(对非常小的文件)

●数据块大小(如果不固定)

●视频帧到字节偏移的映射

●字节偏移到逻辑文件块的映射

●数据块区段的指针(直接块)

●间接块区段的指针

●校验值

文件系统采用基于区段的分配方式。多媒体文件被分成不同的条块，每一条块作为一个单位以一个连续数据块序列的方式存储在磁盘上，并描述为在每个磁盘上的逻辑偏移和长度。基于区段的分配方式允许使用一个磁盘I/O操作将大量的数据从磁盘中检索出来，以尽量减少磁盘位置查找所需的时间和次数，以提高访问磁盘数据的性能。

一个i节点可以引用一定数量的直接区段，每个区段都由起始数据块地址和长度对来表示。i节点还可以指向一些间接地址区段，这些区段包含有其它区段的地址：

●第一个间接地址区段用于单个间接，每个区段条目包括间接数据区段的起始数据块号。

●如果有必要，第二个间接地址区段则用于双个间接，每个区段条目包括单个间接地址区段的起始数据块号。

文件系统使用分配映射表记录文件系统中所有磁盘数据块的分配状态(空闲或正在使用的)。由于文件是在块区段中分配的，分配映射表也包含有寻找空闲磁盘块区段的信息。

在磁盘的布局中，分配映射表的每个条目记录包含有数据块区段的类型，偏移量，磁盘，起始数据块，和数据块的数量。间接和数据区段使用这种格式来记录每个区段的逻辑文件偏移和物理磁盘位置。数据块区段分配字段的定义如下：

●类型：唯一标识一个区段记录，并确定该记录的长度和格式。

●偏移量：表示一个给定记录的逻辑文件在数据块中的偏移量，用于优化查询。

●磁盘：磁盘的数量和位置。

●起始数据块：区段在起始文件系统中的起始块。

●数据块数：区段中连续数据块的数量。

文件系统使用两种不同大小的数据块来存储不同类型的数据：

●文件系统使用较大的数据块(例如，256KB)来存储文件数据。为了有效地支持多媒体应用，文件系统需要最大限度地提高磁盘的吞吐量。传统的文件系统为优化的磁盘空间利用率而使用较小的数据块大小值。由于磁盘的吞吐量与磁盘块的大小是密切相关，这里使用一个远远超过它们的块大小值(256KB)。由于多媒体内容通常使用非常大的文件，大的数据块带来的磁盘存储利用率下降的影响通常可以忽略不计。

●文件系统使用较小的块(例如，8KB的)来存储文件的元数据。每个i节点包含15个块指针，以指示哪些块属于该文件。一个i节点可以引用12个直接区段，每个区段由数据块的起始地址和长度对来表示。i节点还指向3个间接地址区段，这些区段包含有其它区段的地址。对于超大的文件，i节点指向双重间接块。对于非常小的文件，数据存储在i节点本身块的指针位置。

创建一个新的文件时，文件系统根据分配映射表来分配数据块写入磁盘的空间。该映射表被划分成若干个可锁定的区域。这种映射表布局允许文件系统通过在所有磁盘上产生条带来分配磁盘空间，而且每次只需访问单一的分配区域。这种方法最大限度地减少了互锁冲突，因为不同的用户可以从不同区域进行空间分配。另一方面，硬盘的I/O性能由媒体传输速率决定，这可能随着磁盘上区域不同而各有不同，例如，在磁盘外侧的区域可以提供比在磁盘内侧的区域更快的数据传输速率。因此，跟据访问的性能要求可以将数据存放到相应的磁盘区域内。

数据放置策略是由两个层次来决定的。第一是通过文件访问模式决定，如最常用的文件存放在磁盘I/O速率较好的磁盘外侧区域。他们的镜像则可以存储在磁盘I/O速率较低的区域。第二个层次的视频文件在硬盘阵列的放置策略则是由数据块大小和条块化处理决定的。文件系统支持超大的数据块和基于区段的数据分配，这使得磁盘寻找和旋转时间代价降低，并使得文件服务器方便地采用负载平衡策略。要做到这一点，它会针对每个文件根据分配映射表评估可用的存储和区段，并自动选择最好的块大小值。块大小则是根据正常的顺序写入访问模式来优化的。

在多媒体应用中，很多或所有的文件系统活动往往指向一个单一的文件。而目前单个磁盘的吞吐量有限(小于100MB/秒)，所以从一个文件中实现比这更高的吞吐量，需要逐渐将读写活动扩展到多个磁盘中。每个文件系统可以驻留在多个磁盘上，从而有效地扩展文件的读写速度。每个数据文件都是动态的分段存放在条带组中的多个磁盘上。元数据可以用同样的分段，或仅仅是被复制。同时，文件系统还支持循环分段策略。对于循环分段，所有文件将采用单一的分段顺序。该文件的每一个数据块的所有副本都写入到随机选择的磁盘，并保证他们没有共同的故障点。

当文件系统需要将一个序列的数据块写入磁盘时，它会自动分散地写入到存储池中的所有可用磁盘。当一个新设备被添加到这个池中，文件系统立即开始分散地将数据写入到其中。同样，当一个设备被拆除，文件系统把即将拆除的设备上的数据迁移出来，迁移的数据将自动在所有磁盘重新分配，并将它从动态条带组中删掉。添加和删除磁盘可以被认为是条带宽度的动态变化。动态分段还使文件系统能够应付异构设备，因为它可以按硬盘性能的比例安放数据块。添加一个慢速设备到存储池将不会降低性能，因为文件系统只需在速度慢的设备比速度快的设备少写些数据块。

文件系统支持数据在数据块基础上的文件数据和元数据复制。每个包括在文件系统元数据中的磁盘地址是一个数组，每一个副本为一个数组元素。数据条带组描述符中的磁盘信息包括系统的拓扑结构信息，这样文件系统能够分配数据块副本而没有共同的故障点。复制的程度是可以在每个对象的基础上控制的。一个条带组可以有复制的元数据，但也可以有未复制的文件，或者也可以为不同的文件有不同层次的复制。例如，只有受欢迎的电影可能被复制，这可以允许在容错性和系统成本之间进行权衡。

Claims (5)

1.一种文件系统的流媒体增强布局方法，其特征在于：所述的文件系统的流媒体增强布局方法使用基于区段的磁盘文件存储分配策略，以提高单个磁盘I/O操作的效率；对元数据和文件数据使用不同大小的磁盘数据块进行存储的策略，提高大文件的磁盘I/O效率；在写入新文件时采用基于分配映射表的存储分配策略来优化文件系统的操作过程，从而提高文件系统的整体性能；对单个文件和元数据的存储使用动态分段策略，将数据动态分段存放到多个磁盘上，利用多个磁盘可以并行工作的特点提高数据的存取性能；支持基于数据块的文件数据和元数据复制，以实现文件系统的容错功能。

2.根据权利要求1所述的一种文件系统的流媒体增强布局方法，其特征在于：所述的基于区段的磁盘文件存储分配策略，其将文件分成不同的条块，每一条块作为一个单位以连续数据块序列的方式存储在磁盘上，并描述为每个磁盘上的逻辑偏移和长度，这一技术允许使用单个磁盘I/O将大量数据从磁盘中检索出来，通过减少磁盘位置查找的时间和次数提高文件系统性能。

3.根据权利要求1所述的一种文件系统的流媒体增强布局方法，其特征在于：所述的对元数据和文件数据使用不同大小的磁盘数据块进行存储的策略，其使用较大的块来存储文件数据，使用较小的块来存储元数据，对于非常小的文件，数据存储在文件系统i节点本身块的指针位置，可以提高大文件的磁盘I/O效率。

4.根据权利要求1所述的一种文件系统的流媒体增强布局方法，其特征在于：所述的在写入新文件时采用的基于分配映射表的存储分配策略，其通过将分配映射表划分为多个可锁定的区域，在分配磁盘空间时允许只锁定单一的分配区域，从而最大限度的减少了分配磁盘空间时的互锁冲突；通过分配映射表对磁盘上不同访问性能的区域（如磁盘外侧访问较快而内侧较慢）分配给不同的数据（如较常用的数据存放到访问性能较高的区域），来提高磁盘系统的整体性能。

5.根据权利要求1所述的一种文件系统的流媒体增强布局方法，其特征在于：所述的对单个文件和元数据的存储使用的动态分段策略，其对每个数据文件动态地分段并存储到不同的磁盘；对元数据则分段或复制并存储到不同的磁盘，将数据动态分段存放到多个磁盘上的策略利用多个磁盘可以并行工作的特点提高数据的存取性能。