CN109542842B - 一种兼容fat32文件系统的视频顺序存储和查询方法及其装置 - Google Patents

Abstract

本发明公开一种兼容fat32文件系统的视频顺序存储和查询方法及其装置，由检测单元，格式化单元，寻址单元，视频存储单元，视频查询单元组成，通过直接读写磁盘存储和查询视频，兼容fat32文件系统，但是又不再依赖传统的文件系统，意外中断时，不会出现必须格式化才能使用的情况，可以附加信息到每一帧视频，顺序式存储，避免磁盘磁头随机寻道消耗大量时间，且对缓存的设计友好，寻址只需在内存中计算即可，几乎无需查询磁盘，提高了效率；每个存储块的大小，地址都是可知的，因此恢复数据非常方便。

Description

一种兼容fat32文件系统的视频顺序存储和查询方法及其 装置

技术领域

本发明涉及计算机数据存储技术领域，尤其涉及视频监控领域中的一种流式数据的存储和查询方法及其装置。

背景技术

视频的存储是视频监控应用的关键之一，只有将视频存储下来，才有可能在之后随时查阅监控地发生过的事情。视频监控应用中的视频存储具有以下特点：

(1)写入操作通常比读取操作多，且几乎不需要删除操作。

(2)意外中断时，需要保证存储系统仍然可以正常工作。

(3)支持根据条件查询对应的录像内容。例如，查询某一录像原因的录像。

对于这些特点，采用传统文件系统存储视频，存在以下不足：

(1)传统文件系统为了兼顾通用性，需要支持文件的动态创建，写入，读取，删除。每次操作的物理地址是不可知的，对于需要磁头寻道的存储介质来说，随机寻道会消耗大量时间，导致效率低下；

(2)如果文件系统的索引在意外中断时损坏，则可能整个扇区的数据都会丢失，表现的就是需要格式化才能继续使用；

(3)很难将附加信息准确的对应到视频的相应位置。

针对视频监控应用中的视频存储特点，和传统文件系统的不足，现提供一种顺序分块的视频存储方法，绕过文件系统，直接读写存储介质，能够高效存储和查询视频，具有非常强的稳定性，并能逐帧添加附加信息。更进一步的，该方法兼容fat32文件系统，存储的视频能够直接被一般的计算机读取和播放，且具备一定的数据恢复能力。

发明内容：

本发明的技术任务是提供一种兼容fat32文件系统的视频顺序存储和查询方法及其装置，绕过文件系统，直接读写存储介质，按照磁盘物理地址顺序增长方向存储视频，减小磁盘随机寻址消耗的时间，能够高效存储和查询视频，具有非常强的稳定性，且可以精确的将附加信息对应到视频的相应位置；

更进一步的，本发明公开的视频存储系统兼容fat32文件系统，存储的视频能够直接被一般的计算机读取和播放；

更进一步的，本发明公开的视频存储系统，对于同一个磁盘分区，视频文件的布局都是已知的，因此本存储系统具备一定的数据恢复能力。

为实现上述构想，本发明公开了一种兼容fat32文件系统的视频顺序存储和查询方法，包括存储系统，所述存储系统包括磁盘；其特征在于，具体方法包括下述步骤：

步骤一：对磁盘进行格式化处理，按照指定参数，将磁盘分区格式化为fat32文件系统；具体表现为直接读写磁盘介质，按照fat32文件系统标准，将分区按照指定扇区大小，指定保留扇区数，指定每簇扇区数，指定fat表数目格式化；指定参数为预设值；

步骤二：在fat32文件系统的数据区，按照预设的大小，将磁盘分区顺序划分为若干个小块和两个header索引，小块的大小等于fat32文件系统的簇大小；

步骤三：若干个小块组成一个存储块，存储块作为本发明存储单元，用于对视频进行顺序存储；

步骤四：header索引用于记录视频存储的统计信息，使用其中一个header索引，另一个用于备份；实现视频的查询。

进一步地，所述存储块包含索引区和数据区，数据区和索引区的大小都是小块大小的整数倍，所述数据区用于存储视频；

所述索引区包含第一索引和第二索引，所述第一索引用于索引，所述第二索引用于备份；所述第一索引和第二索引均包含一个子头索引和若干子索引；所述第一索引用于记录视频数据的位置和校验数据，具体步骤如下：

步骤一：顺序将所有存储块的数据区合并为若干个存储群；

步骤二：将存储群视为fat32文件系统中的文件；

步骤三：通过直接读写磁盘介质的方式，按照fat32文件系统标准，为存储群设置fat表项和分配指定的文件名。

进一步地，所述header索引用于记录视频存储的统计信息，所述header索引包括第一header索引和第二header索引，所述第一header索引用于header索引，所述第二header索引用于备份。

一种兼容fat32文件系统的视频顺序存储和查询装置，包括检测单元、格式化单元、寻址单元、存储单元、查询单元和数据修复单元；

其中，所述检测单元用于确保存储和查询的视频是正确的，所述格式化单元用于对磁盘分区格式化，所述寻址单元用于存储和查询视频时寻址，所述存储单元用于存储视频，所述查询单元用于查询视频，所述数据修复单元用于恢复丢失的视频数据。

进一步地，所述存储单元存储视频的方法为：

步骤一：设置缓存和存储阈值；

步骤二：将视频先存储在缓存里，子索引的crc32校验值和视频的其他附加信息存入对应子索引；

步骤三：记录缓存已存储的视频数据大小，如果已存储视频数据大小超出存储阈值，则切换子索引，I帧单独占一个子索引；

步骤四：如果已存储视频数据大小超出存储块大小，则在存储块的子头索引记录子头索引的crc32校验值，视频数据溢出大小和其他附加信息，更新header索引的统计信息和crc32校验值，将缓存写入磁盘分区。

进一步地，所述查询单元查询视频的方法为：

步骤一：首先从header索引记录的统计信息得到符合查询条件的存储群；

步骤二：再遍历存储群中的存储块中的索引区，得到符合条件的视频数据位置和大小；

步骤三：从存储块的数据区读取视频数据，从对应的索引区读取附加信息。

进一步地，所述寻址单元在存储和查询视频时寻址的寻址方法为：

步骤一：按照格式化参数，模拟执行格式化单元的流程，获得存储群在fat32文件系统中的起始簇号；

步骤二：按照fat32文件系统标准，获得存储群的起始地址。

进一步地，所述寻址方法过程中步骤二的模拟执行格式化单元的流程为：

步骤一：在执行格式化流程中写入磁盘以外的操作，即为只执行格式化流程的计算过程，忽略修改磁盘数据的操作。

进一步地，所述数据修复单元修复数据的步骤为：

步骤一：数据修复时，首先获取格式化参数，

步骤二：接着执行格式化单元流程，但是忽略将存储块的索引区清零的操作。

本发明的有益效果：

一种兼容fat32文件系统的视频顺序存储和查询方法及其装置，兼容fat32文件系统，但是又不再依赖传统的文件系统，意外中断时，不会出现必须格式化才能使用的情况；可以附加信息到每一帧视频；顺序式存储，避免磁盘磁头随机寻道消耗大量时间，且对缓存的设计友好；寻址只需在内存中计算即可，几乎无需查询磁盘，提高了效率；每个存储块的大小，地址都是可知的，因此恢复数据非常方便。

附图说明

图1为本发明一种兼容fat32文件系统的视频顺序存储和查询装置的结构示意图；

图2为本发明检测单元的执行流程示意图；

图3为本发明格式化单元的执行流程示意图；

图4为本发明格式化单元执行后的磁盘分区数据逻辑布局示意图；

图5为本发明寻址单元的执行流程示意图；

图6为本发明视频存储单元的执行流程示意图；

图7为本发明视频查询单元的执行流程示意图；

图8为本发明数据修复单元的执行流程示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改均落于本申请所附权利要求所限定的范围。

一种兼容fat32文件系统的视频顺序存储和查询方法包括存储系统，所述存储系统包括磁盘；具体方法包括下述步骤：

步骤一：对磁盘进行格式化处理，按照指定参数，将磁盘分区格式化为fat32文件系统；具体表现为直接读写磁盘介质，按照fat32文件系统标准，将分区按照指定扇区大小，指定保留扇区数，指定每簇扇区数，指定fat表数目格式化；指定参数为预设值；

步骤二：在fat32文件系统的数据区，按照预设的大小，将磁盘分区顺序划分为若干个小块和两个header索引，小块的大小等于fat32文件系统的簇大小；

步骤三：若干个小块组成一个存储块，存储块作为本发明存储单元，用于对视频进行顺序存储；

步骤四：header索引用于记录视频存储的统计信息，使用其中一个header索引，另一个用于备份；实现视频的查询。

其中，所述存储块包含索引区和数据区，数据区和索引区的大小都是小块大小的整数倍，所述数据区用于存储视频；

所述索引区包含第一索引和第二索引，所述第一索引用于索引，所述第二索引用于备份；所述第一索引用于记录视频数据的位置和校验数据，具体步骤如下：

步骤一：顺序将所有存储块合并为若干个存储群；

步骤二：将存储群视为fat32文件系统中的文件；

步骤三：通过直接读写磁盘介质的方式，按照fat32文件系统标准，为存储群设置fat表项和分配指定的文件名。

其中，所述header索引用于记录视频存储的统计信息，所述header索引包括第一header索引和第二header索引，所述第一header索引用于header索引，所述第二header索引用于备份。

如图1所示，一种兼容fat32文件系统的视频顺序存储和查询装置，由检测单元、格式化单元、存储单元、查询单元、数据恢复单元组成。

检测单元可以尽可能的确保存储和查询的视频是正确的，方法是遍历header索引、存储块的子头索引、存储块的子索引，始终使用crc32校验值的计算值和记录值相等的索引，替换覆盖计算值和记录值不相等的索引，执行流程如图2所示，具体步骤如下：

步骤一、计算使用中的(used)索引和备份(backup)索引的crc32校验值；

步骤二、判断计算的used索引和backup索引是否相等，若是则进入步骤三，否则进入步骤四；

步骤三、判断计算的索引值是否等于记录的索引值，若是则进入步骤七，否则进入步骤六；

步骤四、判断计算的used索引和backup索引crc32校验值是否都不等于记录的crc32校验值，若是则进入步骤六，否则进入步骤五；

步骤五、使用crc32校验计算值等于记录值的索引，替换覆盖计算值和记录值不相等的索引，进入步骤七；

步骤六、提示存储系统损坏，进入步骤七；

步骤七、结束检测流程；

格式化单元的执行流程如图3所示，具体步骤如下：

步骤一、利用操作系统，获取磁盘分区的的总大小，扇区大小等信息；

步骤二、如果磁盘分区的大小小于1GB，则提示磁盘空间过小，并退出格式化流程，否则进入步骤三；

步骤三、直接读写磁盘介质，按照fat32文件系统标准，将分区按照预设扇区大小，预设保留扇区数，预设每簇扇区数，预设fat表数目格式化；

步骤四、将fat32文件系统的数据区等分为N个小块(下文称CB)，每个CB大小等于fat32文件系统的簇大小；

步骤五、在磁盘分区的最后预留m个CB，作为2个header索引区；

步骤六、余下的CB，每n+1个CB组成一个存储块，其中n个CB是存储块的数据区，1个CB是存储块的索引区，顺序将若干个存储块的数据区在逻辑上合并，下文称为存储群；

步骤七、每个存储群的大小为fsize，计算分区总共可以分配的存储群数目SN；

步骤八、如果(N*(每簇字节数+4)+((保留扇区数+SN+1)*每扇区字节数))大于分区的总字节数，就将N减1，并且进入步骤四，否则进入步骤九；

步骤九、存储群相当于fat32文件系统中的文件，按照fat32文件系统标准，结合存储群中每一个CB所在的簇号，为每一个CB设置fat表项；

步骤十、直接读写磁盘介质，按照fat32文件系统标准，为每个存储群在fat32根目录所在扇区分配文件名；

步骤十一、将最后一个文件名所在扇区的剩余部分清零；

步骤十二、结束本流程；

所述步骤二中，1GB为示例值，在本发明其他实施例中，可以为其他值；

所述步骤五中的两个header索引，使用其中一个header索引，另一个用于备份，header索引记录统计信息，比如每个存储群存储的视频的起止时间，最后一次写入的存储群序号，最后一次写入的存储块序号等，m/2个CB的空间大小大于记录信息需要的空间大小；

所述步骤六中，n表示大于0但是小于N-m-1的整数，将每个存储块的索引区清零，假设要存储的视频一帧最大为mfsize，则存储块的数据区大小至少大于mfsize；

所述步骤六中，数据块的索引区分为两个索引，使用其中一个，另一个用于备份，索引包含一个子头索引和若干个子索引；

所述步骤七中，每个存储群的大小为fsize，fsize可以为256MB，500MB或其他值；

所述步骤十中，各个文件名在扇区中紧密相连，格式固定，长短固定，例如第一个存储群命名为CR000000.mp4，第二个存储群命名为CR000001.mp4；

所述步骤十中，各个文件名按照fat32文件系统标准，指定起始簇号为该存储群中的第一个存储块所在簇号，指定文件大小为fsize；

所述格式化单元执行完毕后，磁盘扇区的布局如图4所示；

按照上述格式化后，如果采用标准操作系统，如windows，linux读取磁盘扇区，会发现扇区中有若干个视频文件，这些视频文件在扇区中的位置和大小是固定和已知的，并且因为采用固定的格式化参数和流程，所以对于同一个磁盘扇区而言，每一次格式化，都能得到相同的磁盘分区文件布局；

按照上述格式化，之后的存储和查询视频，都是直接读写磁盘介质进行的，这样不会损坏fat32文件系统的fat表索引，意外中断时，不会出现因文件系统损坏而必须格式化磁盘才能继续使用的情况。

对存储群(即视频文件)的寻址单元执行流程如图5所示，具体步骤如下：

步骤一、获取格式化参数；

步骤二、根据格式化参数获取存储群在fat32文件系统中的的起始簇号；

步骤三、按照fat32文件系统标准，根据起始簇号，计算存储群在磁盘分区中的地址；

结束本流程；

所述步骤二中，获得格式化参数后，模拟执行格式化流程，在此过程中可获得存储群在fat32文件系统中的起始簇号，模拟执行格式化流程是指，执行格式化流程中写入磁盘以外的操作，就是说只执行格式化流程计算过程，忽略修改磁盘数据的操作。

存储视频时，存储单元的执行流程如图6所示，具体步骤如下：

步骤一、在内存中建立缓存，设置阈值thd，设置结束条件；

步骤二、获取视频帧；

步骤三、判断视频帧是否I帧，若是，则将fsum和其他附加信息记录在存储块的子索引里，并清零fsum，顺序切换子索引，然后将视频帧的大小累加到fsum和sum，视频数据记录在存储块的数据区，进入步骤六，否则进入步骤四；

步骤四、将视频帧的大小累加到fsum和sum，视频数据记录在存储块的数据区；

步骤五、如果fsum大于thd，进入步骤六，否则进入步骤七；

步骤六、将fsum，子索引的crc32校验值，和其他附加信息记录在存储块的子索引里，并清零fsum，顺序切换子索引；

步骤七、如果sum大于(存储块大小-sofst)，则进入步骤八，否则进入步骤十一；

步骤八、数据块的索引区中的子头索引记录存储块溢出大小ofsize，下一个存储块的起始偏移sofst等于ofsize；

步骤九、将存储块存储的视频统计信息和子头索引的crc32校验值更新到索引区的子头索引里；

步骤十、将存储块所属的视频统计信息和header索引的crc32校验值更新到header索引中；

步骤十一、将缓存写入磁盘分区，将sum清零，并且顺序切换存储块；

步骤十二、判断是否满足结束条件，若是则结束本次存储流程，否则进入步骤二；

所述步骤一中，缓存大小至少等于存储块的两倍大小，thd的大小可设置为1秒视频的大小，thd小于存储块大小，结束条件是人为设定的，比如录像9小时候停止录像；

所述步骤三中，fsum和sum是用于记录缓存中已记录的视频数据的大小；

所述步骤三和步骤四中，每一帧视频数据是紧密相继的存储在存储块的数据区的；

所述步骤三和步骤六中，顺序切换子索引的意思是，下一次存储视频时，fsum和其他附加信息将存储在下一个子索引里，附加信息可以是该帧视频是否I帧，该帧视频的时间戳等信息；

所述步骤七中，sofst是本存储块的起始偏移，表示本存储块存储的数据从偏移sofst处开始；

所述步骤八中，数据块的索引区中的子头索引，不仅仅可以记录ofsize和sofst，也可记录其他信息，例如数据块存储视频的起止时间等；

所述步骤九中，存储块存储的视频统计信息可以是视频起止时间，最后一次存储使用的子索引序号，该帧视频是否I帧等信息，也可以是其他设定的信息，比如录像原因等；

所述步骤十中，存储块所属存储群存储的视频统计信息可以是视频起止时间，最后一次写入的存储群序号，最后一次写入的存储块序号等信息，也可以是其他设定的信息，比如录像的摄像头编号等；

查询单元的执行流程如图7所示，具体查询步骤如下：

步骤一、根据header记录的统计信息获取符合查询条件的存储群号；

步骤二、得到符合查询条件的存储群号后，遍历存储群中每一个存储块的索引区中子头索引记录的统计信息，得到符合查询条件的存储块号；

步骤三、得到符合查询条件的存储块号后，遍历存储块索引区中的所有子索引，得到符合查询条件的子索引号；

步骤四、根据子索引记录的数据在存储块中的起始偏移和长度，得到最终需要查询的视频数据，需要查询的视频附加信息则可从子索引直接读出。

当意外操作发生时，例如对磁盘分区进行了快速格式化，可执行数据修复单元，进行视频数据恢复，执行流程如图8所示，具体步骤如下：

步骤一、获取格式化参数；

步骤二、执行格式化单元流程，但是忽略将存储块的索引区清零的操作；

本发明能够兼容fat32文件系统，但是又不再依赖传统的文件系统，意外中断时，不会出现必须格式化才能使用的情况；可以附加信息到每一帧视频；顺序式存储，避免磁盘磁头随机寻道消耗大量时间，且对缓存的设计友好；寻址只需在内存中计算即可，几乎无需查询磁盘，提高了效率；每个存储块的大小，地址都是可知的，因此恢复数据非常方便。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种兼容fat32文件系统的视频顺序存储和查询方法，包括存储系统，所述存储系统包括磁盘；其特征在于，具体方法包括下述步骤：

步骤一：对磁盘进行格式化处理，按照指定参数，将磁盘分区格式化为fat32文件系统；具体表现为直接读写磁盘介质，按照fat32文件系统标准，将分区按照指定扇区大小，指定保留扇区数，指定每簇扇区数，指定fat表数目格式化；指定参数为预设值；

步骤二：在fat32文件系统的数据区，按照预设的大小，将磁盘分区顺序划分为若干个小块和两个header索引，小块的大小等于fat32文件系统的簇大小；

步骤三：若干个小块组成一个存储块，存储块作为存储单元，用于对视频进行顺序存储；

步骤四：header索引用于记录视频存储的统计信息，使用其中一个header索引，另一个用于备份；实现视频的查询；

所述存储块包含索引区和数据区，数据区和索引区的大小都是小块大小的整数倍，所述数据区用于存储视频；

所述索引区包含第一索引和第二索引，所述第一索引用于索引，所述第二索引用于备份；所述第一索引和第二索引均包含一个子头索引和若干子索引；所述第一索引用于记录视频数据的位置和校验数据，具体步骤如下：

步骤一：顺序将所有存储块的数据区合并为若干个存储群；

步骤二：将存储群视为fat32文件系统中的文件；

步骤三：通过直接读写磁盘介质的方式，按照fat32文件系统标准，为存储群设置fat表项和分配指定的文件名。

2.一种执行如权利要求1所述兼容fat32文件系统的视频顺序存储和查询的方法的装置，其特征在于，包括检测单元、格式化单元、寻址单元、存储单元、查询单元和数据修复单元；

其中，所述检测单元用于确保存储和查询的视频是正确的，所述格式化单元用于对磁盘分区格式化，所述寻址单元用于存储和查询视频时寻址，所述存储单元用于存储视频，所述查询单元用于查询视频，所述数据修复单元用于恢复丢失的视频数据。

3.根据权利要求2所述的一种兼容fat32文件系统的视频顺序存储和查询装置，其特征在于，所述存储单元存储视频的方法为：

步骤一：设置缓存和存储阈值；

步骤二：将视频先存储在缓存里，子索引的crc32校验值和视频的其他附加信息存入对应子索引；

步骤三：记录缓存已存储的视频数据大小，如果已存储视频数据大小超出存储阈值，则切换子索引，I帧单独占一个子索引；

步骤四：如果已存储视频数据大小超出存储块大小，则在存储块的子头索引记录子头索引的crc32校验值、视频数据溢出大小和其他附加信息，更新header索引的统计信息和crc32校验值，将缓存写入磁盘分区。

4.根据权利要求2所述的一种兼容fat32文件系统的视频顺序存储和查询装置，其特征在于，所述查询单元查询视频的方法为：

步骤一：首先从header索引记录的统计信息得到符合查询条件的存储群；

步骤二：再遍历存储群中的存储块中的索引区，得到符合条件的视频数据位置和大小；

步骤三：从存储块的数据区读取视频数据，从对应的索引区读取附加信息。

5.根据权利要求2所述的一种兼容fat32文件系统的视频顺序存储和查询装置，其特征在于，所述寻址单元在存储和查询视频时寻址的寻址方法为：

步骤一：按照格式化参数，模拟执行格式化单元的流程，获得存储群在fat32文件系统中的起始簇号；

步骤二：按照fat32文件系统标准，获得存储群的起始地址。

6.根据权利要求5所述的一种兼容fat32文件系统的视频顺序存储和查询装置，其特征在于，所述寻址方法过程中步骤二的模拟执行格式化单元的流程为：

步骤一：在执行格式化流程中写入磁盘以外的操作，即为只执行格式化流程的计算过程，忽略修改磁盘数据的操作。

7.根据权利要求2所述的一种兼容fat32文件系统的视频顺序存储和查询装置，其特征在于，所述数据修复单元修复数据的步骤为：

步骤一：数据修复时，首先获取格式化参数，

步骤二：接着执行格式化单元流程，但是忽略将存储块的索引区清零的操作。

Images