CN102623033A

CN102623033A - 一种基于快速视频数据存储的文件系统的控制方法及装置

Info

Publication number: CN102623033A
Application number: CN2011100340809A
Authority: CN
Inventors: 张之双
Original assignee: Suzhou Keda Technology Co Ltd
Current assignee: Suzhou Keda Technology Co Ltd
Priority date: 2011-01-31
Filing date: 2011-01-31
Publication date: 2012-08-01

Abstract

本发明提供一种基于快速视频数据存储的文件系统的控制方法，其包括步骤：-构建文件系统引导记录区，其中，所述文件系统引导记录区用于记录单一分区的总体信息；-构建媒体记录分配表区，其中，所述记录分配表区用于记录簇链；-构建记录索引区，其中，所述记录索引区用于媒体记录的记录索引；-构建媒体数据区，其中，所述媒体数据区用于记录媒体记录；还包括如下步骤：在所述媒体数据区中按照数据簇的物理位置顺序，依次在所述媒体数据区中写入媒体记录。本发明提供一套用于控制该文件系统的技术方案，将文件系统顺序存储，减少磁盘碎片，并提高了存储与删除的效率；为视频数据建立索引。从而实现录像存储时高效、稳定、快速检索。

Description

一种基于快速视频数据存储的文件系统的控制方法及装置

技术领域

本发明涉及视频流控制系统，具体地，涉及视频流控制系统中快速视频数据存储的文件系统，尤其是针对该文件系统的控制方法及控制系统。

背景技术

随着视讯业务的发展，出现了越来越多的视频网站等提供视讯类业务的服务商。一般的，都是将视频录像文件存储在某存储介质上，用户点播该录像时通过网络将该录像文件传送到用户端，然后解码后视频画面显示在显示屏幕上。尤其是视频网站、视频点播业务、视频监控业务中，录像，尤其是录像后的视频存储是必不可少的基础功能。

针对视频存储，现在的录像文件系统采用的都是EXT3文件系统。EXT3文件系统是一种日志式文件系统，是对EXT2系统的扩展，它兼容EXT2。日志式文件系统的优越性在于：由于文件系统都有快取层参与运作，如不使用时必须将文件系统卸下，以便将快取层的资料写回磁盘中。因此每当系统要关机时，必须将其所有的文件系统全部关闭后才能进行关机。

如果在文件系统尚未关闭前就关机(如停电)时，下次重开机后会造成文件系统的资料不一致，故这时必须做文件系统的重整工作，将不一致与错误的地方修复。然而，此一重整的工作是相当耗时的，特别是容量大的文件系统，而且也不能百分之百保证所有的资料都不会流失。

为了克服此问题，使用所谓“日志式文件系统(Journal FileSystem)”。此类文件系统最大的特色是，它会将整个磁盘的写入动作完整记录在磁盘的某个区域上，以便有需要时可以回溯追踪。

由于资料的写入动作包含许多的细节，像是改变文件标头资料、搜寻磁盘可写入空间、一个个写入资料区段等等，每一个细节进行到一半若被中断，就会造成文件系统的不一致，因而需要重整。

然而，在日志式文件系统中，由于详细纪录了每个细节，故当在某个过程中被中断时，系统可以根据这些记录直接回溯并重整被中断的部分，而不必花时间去检查其他的部分，故重整的工作速度相当快，几乎不需要花时间。

但是EXT3文件系统是针对通用性的文件系统，并且考虑的是快速修复，但是不适合录像文件系统，主要有几个原因：

1、录像文件系统要求长时间稳定，EXT3文件系统随着使用时间的增加，只会使磁盘碎片越来越多。

2、对于录像文件系统来说，磁盘多采用iSCSI远程连接，这样容易受网络的影响，导致文件系统修复。EXT3系统由于本身的复杂度，往往不能很好的修复或造成修复错误，造成系统的极不稳定(因为EXT3试图恢复所有的数据，但有时这是不可能，并且录像系统，人工不能参与其中，计算机只能自己决定)。

传统的文件系统在长时间大容量的覆盖录像时存在三方面的问题：1)文件碎片越来越多、效率逐渐下降，无法满足规划时的系统要求；2)文件的删除效率极低，导致覆盖时的码流录像能力低于规划要求；3)文件系统复杂、庞大，系统异常情况下的问题查处相当困难，几乎束手无策。

因此，现有技术中存在的问题至少在于无法实现快速、高效的视频文件存储。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于快速视频数据存储的文件系统的控制方法以及相应的控制系统。

根据本发明的一个方面，提供一种基于快速视频数据存储的文件系统的控制方法，其特征在于，包括如下步骤：

-构建文件系统引导记录区，其中，所述文件系统引导记录区用于记录单一分区的总体信息；

-构建媒体记录分配表区，其中，所述记录分配表区用于记录簇链；

-构建记录索引区，其中，所述记录索引区用于媒体记录的记录索引；

-构建媒体数据区，其中，所述媒体数据区用于记录媒体记录，

其特征在与，还包括如下步骤：a.在所述媒体数据区中按照数据簇的物理位置顺序，依次在所述媒体数据区中写入媒体记录。

根据本发明的另一个方面，还提供一种基于快速视频数据存储的文件系统的控制系统，其用于对所述文件系统进行控制，其特征在于，通过上述权利要求中任一项所述的控制方法对所述文件系统进行控制。

本发明相应地提供一套用于控制该文件系统的技术方案，将文件系统顺序存储，减少磁盘碎片，并提高了存储与删除的效率；为视频数据建立索引。从而实现录像存储时高效、稳定、快速检索。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明的第一实施例的，基于快速视频数据存储的文件系统的控制方法的流程图；

图2示出根据本发明的第一实施例的，基于快速视频数据存储的文件系统的控制方法的写入媒体记录与记录索引的流程图；

图3示出根据本发明的第二实施例的，基于快速视频数据存储的文件系统的控制方法的写入媒体记录与记录索引的流程图；以及

图4示出根据本发明的第一实施例的，本发明提供的基于快速视频数据存储的文件系统的控制方法的VBFS文件系统的总体组成图。

具体实施方式

针对上述所描述的技术问题，本发明的目的就是通过新的技术手段解决该问题，从而实现快速、高效的视频文件存储。

具体地，图1示出根据本发明的第一实施例的，基于快速视频数据存储的文件系统的控制方法的流程图。首先进入步骤S101，构建文件系统引导记录区(SBR)。其中，所述文件系统引导记录区用于记录单一分区的总体信息，从而起到标识文件系统、确保文件系统完整性、以及预留文件系统磁盘位置等作用。本领域技术人员理解，所述文件系统引导记录区记录了单一分区的总体信息，例如：文件系统标识、厂商及版本、每个扇区字节数、以及每个簇扇区数等等。

然后执行步骤S102，构建媒体记录分配表区(File AllocationTable，FAT)。其中，所述记录分配表区用于记录簇链。本领域技术人员理解，所述媒体记录分配表区用于记录簇链。优选地，所述媒体记录分配表区记录由4字节组成的簇链，所述媒体记录分配表区记录了所述媒体记录的相应位置对应相应簇号。具体地，所述媒体记录分配表区包括第一媒体记录分配表区以及第二媒体记录分配表区，其中，所述第一媒体记录分配表区以及第二媒体记录分配表区互为备份。并且，所述第一媒体记录分配表区以及第二媒体记录分配表区互为映像。

接下来进入步骤S103，构建记录索引区(RIA)。其中，所述记录索引区用于媒体记录的记录索引，从而起到在需要调用所述媒体记录时能快速检索的作用。本领域技术人员理解，所述记录索引区用于媒体记录的记录索引，记录内容包括：录像记录名称、开始簇号、开始时间、以及结束时间等等。另外，每条记录包含一个活动子记录和一个紧挨着的备份子记录。所述活动子记录索引与所述备份子记录索引互为映像。

最后执行步骤S104，构建媒体数据区(DATA)。其中，所述媒体数据区用于记录媒体记录。本领域技术人员理解，具体地，在所述媒体数据区中按照数据簇的物理位置顺序，依次在所述媒体数据区中写入媒体记录。而且，任一所述数据簇同时仅用于记录唯一的一媒体记录。

进一步地，本领域技术人员理解，在本实施例中，上述各步骤通过在物理磁盘中写入数据的方式完成。所述物理磁盘的写入过程可以通过现有技术予以实现，例如至少王爽所著《汇编语言》、以及唐朔飞所著《计算机组成原理》等文献描述了这样的过程，在此不再赘述。

例如上述步骤S104中的“构建媒体数据区”，其通过按照数据簇所包括的磁盘扇区的物理位置的顺序，依次在所述数据簇中写入所述媒体记录的方式完成。

进一步地，本领域技术人员理解，本实施例完成了构建一个VBFS文件系统的过程，具体地，其每个步骤所构建的内容、以及格式可以参考图4所示实施例，在此不予赘述。

图2示出根据本发明的第一实施例的，基于快速视频数据存储的文件系统的控制方法的写入媒体记录与记录索引的流程图。首先执行步骤S111，在所述媒体数据区中按照数据簇的物理位置顺序，依次在所述媒体数据区中写入媒体记录。本领域技术人员理解，优选地，所述数据簇是操作系统将相邻的多个磁盘扇区组合在一起而形成的。所述数据簇是操作系统所使用的逻辑概念，而非磁盘的物理特性。具体地，按照所述数据簇所包括的磁盘扇区的物理位置的顺序，依次在所述数据簇中写入所述媒体记录。进一步地，任一所述数据簇同时仅用于记录唯一的一媒体记录。即所述媒体记录所占用的空间是数据簇的整数多倍。一个所述数据簇只能被一个所述媒体记录占用，即使这个所述媒体记录只有0字节，也决不允许两个所述媒体记录或两个以上的所述媒体记录共用一个所述数据簇，不然会造成数据混乱。

然后执行步骤S112，根据所述写入的媒体记录，在所述记录索引区中按照存储介质的物理位置顺序，依次在所述记录索引区中写入记录索引。本领域技术人员理解，优选地，上述步骤S111中，将所述媒体数据写入所述数据簇。然后根据所述数据簇所包括的扇区的物理位置的顺序，在所述记录索引区中写入记录索引。另外，每条记录包含一个活动子记录和一个紧挨着的备份子记录。所述活动子记录索引与所述备份子记录索引互为映像。

本领域技术人员理解，优选地，上述记录索引包括如下信息中的任一种或任多种信息：

-媒体记录的开始时间；

-媒体记录的结束时间；以及

-媒体记录的开始簇号。

更进一步地，本领域技术人员理解，优选地，上述媒体记录的开始时间指所述媒体记录开始录像的时间；上述媒体记录的结束时间指所述媒体记录结束录像的时间；以及上述媒体记录的开始簇号指所述媒体记录写入的数据簇的起始簇号。本领域技术人员理解，通过这些内容就可以检索到一个确定的媒体记录。

图3示出根据本发明的第二实施例的，基于快速视频数据存储的文件系统的控制方法的写入媒体记录与记录索引的流程图。本领域技术人员理解，在一个已使用过的、或者已写满的物理磁盘上写入新的所述媒体记录与记录索引的情况下，会实施图3所示实施例。

进一步地，本领域技术人员理解，优选地，首先执行步骤S121，判断在所述媒体数据区中是否存在空数据簇。本领域技术人员理解，在本实施例中，所述视频存储系统正通过本发明提供的视频文件系统向物理磁盘写入媒体记录。优选地，所述媒体记录尽可能写入所述媒体数据区中空的数据簇。所以在本步骤中首先判断在所述媒体数据区中是否存在空数据簇。若本步骤的判断为肯定的，即在所述媒体数据区中存在空数据簇，则进入下述步骤S122；否则，若在所述媒体数据区中不存在空数据簇，则进入下述步骤S123。

其次进入步骤S122，若在所述媒体数据区中存在空数据簇，则按照数据簇的物理位置顺序在紧挨着最后写入的非空数据簇的数据簇中写入所述媒体记录。本领域技术人员理解，优选地，在上述步骤S121中找到所述媒体数据区中存在空数据簇，因为所述数据簇按照物理位置的顺序存储媒体文件，所以紧挨着最后写入的非空数据簇的数据簇便是第一空数据簇。具体地所述媒体记录从所述紧挨着最后写入的非空数据簇的数据簇开始写入。在完成本步骤后进入步骤S126。

根据上述描述，本领域技术人员理解，若需要重新寻找一个适合写入当前媒体记录的数据簇，则首先执行步骤S123，判断最后写入的非空数据簇是否为在数据簇的物理位置顺序上最后的一个数据簇。本领域技术人员理解，优选地，上述步骤S121中未发现所述媒体数据区中存在空数据簇。则当前适合写入当前媒体记录的数据簇为至今最久被写入的数据簇。因为所述数据簇按照物理位置的顺序存储媒体文件，所以若最后写入的非空数据簇为数据簇的物理位置顺序上最后一个数据簇，则数据簇的物理位置顺序中的第一个数据簇为至今最久被写入的数据簇；否则，则紧挨着最后写入的非空数据簇的数据簇便是至今最久被写入的数据簇。所以在本步骤中首先判断最后写入的非空数据簇是否为在数据簇的物理位置顺序上最后的一个数据簇。若本步骤的判断为肯定的，即在所述最后写入的非空数据簇是在数据簇的物理位置顺序上最后的一个数据簇，则进入下述步骤S124；否则，若在所述最后写入的非空数据簇不是在数据簇的物理位置顺序上最后的一个数据簇，则进入下述步骤S125。

若上述步骤S123的判断结果是肯定的，即最后写入的非空数据簇为在数据簇的物理位置顺序上最后的一个数据簇，则进入步骤S124，将所述媒体记录按照数据簇的物理位置顺序对第一个数据簇进行覆盖。本领域技术人员理解，优选地，上述步骤S121中未发现所述媒体数据区中存在空数据簇。则当前适合写入当前媒体记录的数据簇为至今最久被写入的数据簇。因为所述数据簇按照物理位置的顺序存储媒体文件，所以在最后写入的非空数据簇为在数据簇的物理位置顺序上最后的一个数据簇的情况下，按照数据簇的物理位置顺序的第一个数据簇就是至今最久被写入的数据簇。具体地，所述文件系统将所述媒体记录按照数据簇的物理位置顺序对所述第一个数据簇进行覆盖。优选地，在对所述第一个数据簇进行覆盖前先对所述第一个数据簇进行清空。在完成本步骤后进入步骤S126。

若上述步骤S123的判断结果是否定的，即最后写入的非空数据簇不是在数据簇的物理位置顺序上最后的一个数据簇，则进入步骤S125，将所述媒体记录按照数据簇的物理位置顺序对紧挨着最后写入的非空数据簇的数据簇进行覆盖。本领域技术人员理解，优选地，上述步骤S121中未发现所述媒体数据区中存在空数据簇。则当前适合写入当前媒体记录的数据簇为至今最久被写入的数据簇。因为所述数据簇按照物理位置的顺序存储媒体文件，所以在最后写入的非空数据簇不是在数据簇的物理位置顺序上最后的一个数据簇的情况下，按照数据簇的物理位置顺序，紧挨着最后写入的非空数据簇就是至今最久被写入的数据簇。具体地，所述文件系统将所述媒体记录按照数据簇的物理位置顺序对紧挨着最后写入的非空数据簇的数据簇进行覆盖。优选地，在对所述紧挨着最后写入的非空数据簇的数据簇进行覆盖前现对所述紧挨着最后写入的非空数据簇的数据簇进行清空。在完成本步骤后进入步骤S126。

然后执行步骤S126，在所述记录索引区中确定所记载的所述开始时间最晚的记录索引。本领域技术人员理解，优选地，所述记录索引区中的记录索引的开始时间按位置呈环状分布，所以最近被写入的所述记录索引就是所述开始时间最晚的记录索引。要确定适合写入当前记录索引的位置，即确定在存储介质的物理位置上紧挨着最近写入的记录索引的位置，便首先要找到在所述记录索引区中确定所记载的所述开始时间最晚的记录索引。

接下来进入步骤S127，在存储介质的物理位置上紧挨着所述所记载的所述开始时间最晚的记录索引的位置处写入所述活动子记录索引。本领域技术人员理解，上述步骤S126中确定了在所述记录索引区中所记载的所述开始时间最晚的记录索引，即确定了在所述记录索引区中所记载的最后被写入的记录索引。具体地，在所述存储介质的物理位置上紧挨着所述所记载的所述开始时间最晚的记录索引的位置处就是适合写入当前记录索引的位置。所述文件系统在所述位置处写入所述活动子记录索引。

最后执行步骤S128，在存储介质的物理位置上紧挨着所述活动子记录索引的位置处写入所述备份子记录索引。本领域技术人员理解，优选地，所述活动子记录与所述备份子记录索引互为映像。具体地，所述文件系统按照所述活动子记录复制生成所述备份子记录，并将所述备份子记录写入到在所述存储介质的物理位置上紧挨着所述活动子记录索引的位置处。

进一步地，本领域技术人员理解，通过图3所示实施例，可以实现在一个已使用过的、或者已写满的物理磁盘上写入新的所述媒体记录与记录索引的过程。

更具体地，图4示出根据本发明的第一实施例的，本发明提供的基于快速视频数据存储的文件系统的示意图。本领域技术人员理解，本发明提供的文件系统的作用在于实现快速、高效的视频文件存储，为了阐述方便，我们简称为VBFS文件系统。优选地，在本发明的一个具体实施方式中，所述VBFS文件系统包括SBR文件系统引导区41、RAT1第一媒体记录分配表区42、RAT2第二媒体记录分配表区43、RIA记录索引区44、以及DATA媒体数据区45。

具体地，本领域技术人员理解，所述SBR文件系统引导记录区41记录了单一分区的总体信息。所述SBR文件系统引导记录区41的内容组成如下：

本领域技术人员理解，所述RAT1第一媒体记录分配表区42记录由4字节组成的簇链，记录项相应位置对应相应簇号，簇号编号由DATA区开始，第0簇与第1簇保留，RAT第0记录项固定为0x52415400，RAT第1记录项为当前簇号，代表整个文件系统目前的写位置。从第2记录项开始的定义如下：

RAT记录项值	对应簇情况
		0	未分配
2～0xFFFFFFEF	已分配簇，数值代表下一簇号
		0xFFFFFFF0～xFFFFFFF6	文件系统保留
0xFFFFFFF7	坏簇
		0xFFFFFFF8～0xFFFFFFFF	记录结束符

更进一步地，在本实施例中，优选地，若所述RAT1第一媒体记录分配表区42的开始几项如下：

0x52415400

0x02

0x04

0xffffffff

则表示当前簇为第2簇；第2簇数据有效，且指向第4簇；第3簇与第4簇数据有效，且均为记录结束簇。

本领域技术人员理解，优选地，所述RAT2第二媒体记录分配表区43与所述RAT1第一媒体记录分配表区42互为备份。并且，所述RAT2第二媒体记录分配表区43以及所述RAT1第一媒体记录分配表区42互为映像。所述RAT2第二媒体记录分配表区43的结构与内容与所述RAT1第一媒体记录分配表区42相同，在此不再赘述。

本领域技术人员理解，所述RIA记录索引区44用于媒体记录的记录索引，每条记录包含一个活动子记录和一个紧挨着的备份子记录。所述活动子记录索引与所述备份子记录索引互为映像。每条子记录结构如下：

本领域技术人员理解，所述DATA媒体数据区45用于记录媒体记录，在所述DATA媒体数据区45中按照数据簇的物理位置顺序，依次在所述媒体数据区中写入媒体记录。而且，任一所述数据簇同时仅用于记录唯一的一媒体记录。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种基于快速视频数据存储的文件系统的控制方法，其特征在于，包括如下步骤：

还包括如下步骤：

a.在所述媒体数据区中按照数据簇的物理位置顺序，依次在所述媒体数据区中写入媒体记录。

2.根据权利要求1所述的控制方法，其特征在于，所述媒体记录分配表区包括第一媒体记录分配表区以及第二媒体记录分配表区，其中，所述第一媒体记录分配表区以及第二媒体记录分配表区互为备份。

3.根据权利要求2所述的控制方法，其特征在于，所述第一媒体记录分配表区以及第二媒体记录分配表区互为映像。

4.根据权利要求1至3中任一项所述的控制方法，其特征在于，任一所述数据簇同时仅用于记录唯一的一媒体记录。

5.根据权利要求1至4中任一项所述的控制方法，其特征在于，还包括如下步骤：

b.根据所述写入的媒体记录，在所述记录索引区中按照存储介质的物理位置顺序，依次在所述记录索引区中写入记录索引。

6.根据权利要求5所述的控制方法，其特征在于，所述记录索引包括活动子记录索引以及备份子记录索引，其中，所述步骤b包括如下步骤：

b1.在所述记录索引区中写入所述活动子记录索引；

b2.在存储介质的物理位置上紧挨着所述活动子记录索引的位置处写入所述备份子记录索引。

7.根据权利要求5所述的控制方法，其特征在于，所述记录索引包括活动子记录索引以及备份子记录索引，所述记录索引包括媒体记录的开始时间，其中，所述步骤b包括如下步骤：

b1′在所述记录索引区中确定所记载的所述开始时间最晚的记录索引；

b2′.在存储介质的物理位置上紧挨着所述所记载的所述开始时间最晚的记录索引的位置处写入所述活动子记录索引；

b3′.在存储介质的物理位置上紧挨着所述活动子记录索引的位置处写入所述备份子记录索引。

8.根据权利要求6或7所述的控制方法，其特征在于，所述活动子记录索引与所述备份子记录索引互为映像。

9.根据权利要求1至8中任一项所述的控制方法，其特征在于，所述步骤a包括如下步骤：

a1.判断在所述媒体数据区中是否存在空数据簇；

a2′.若在所述媒体数据区中存在空数据簇，则按照数据簇的物理位置顺序在紧挨着最后写入的非空数据簇的数据簇中写入所述媒体记录；

a2.若在所述媒体数据区中不存在空数据簇，则将所述媒体记录按照数据簇的物理位置顺序覆盖非空数据簇。

10.根据权利要求9所述的控制方法，其特征在于，所述步骤a2包括如下步骤：

a21.判断最后写入的非空数据簇是否为在数据簇的物理位置顺序上最后的一个数据簇；

a22.若所述步骤a21的判断结果是否定的，则将所述媒体记录按照数据簇的物理位置顺序对紧挨着最后写入的非空数据簇的数据簇进行覆盖。

a22′.若所述步骤a21的判断结果是肯定的，则将所述媒体记录按照数据簇的物理位置顺序对第一个数据簇进行覆盖。

11.根据权利要求9或10所述的控制方法，其特征在于，还包括如下步骤：

-在对数据簇进行覆盖前先对数据簇进行清空。

12.根据权利要求1至11中任一项所述的控制方法，其特征在于，所述记录索引包括如下信息中的任一种或任多种信息：

-媒体记录的开始时间；

-媒体记录的结束时间；以及

-媒体记录的开始簇号。

13.一种基于快速视频数据存储的文件系统的控制系统，其用于对所述文件系统进行控制，其特征在于，包括根据上述权利要求1至12中任一项所述的控制方法。