CN104750859A - 一种网络存储方法 - Google Patents

Abstract

本发明提供了一种网络存储方法，该方法包括：在存储设备中建立全局块、一级索引区和数据区，将视频数据直接存储在存储设备中；设置帧缓存和索引缓存，在视频存储时，将帧数据及其索引信息先保存在帧缓存和索引缓存中，并采用索引树对视频信息进行组织管理。本发明提出了一种基于网络的存储方法，在较高的数据量下实现了稳定存储以及快速准确的检索，具有实用性和可靠性。

Description

一种网络存储方法

技术领域

本发明涉及网络存储，特别涉及一种视频数据存储方法。

背景技术

近年来，随着视频压缩技术的不断发展以及网络带宽的提升，视频监控系统以其体积小、一体化、可操作性强、可定制、易维护、可接入的特点，受到了安防监控领域的极大欢迎。除了可以对现场情况进行实时监控，还可以将无人监视时段的前端现场或者突发报警事件等进行实时视频，供事后进行读取和分析评价。目前已有多种存储体系来支持视频监控系统。其中DAS适合服务器在地理分布上很分散的状况，将存储设备通过SCSI接口或光纤通道直接连接到服务器上。SAN将数据块通过光纤通道传输至存储网络，NAS是通过IP通道将文件进行多协议共享，适用于文件服务器的整合，CAS适用于长时间的完整性保存固定数据。以上各种架构均对视频监控提供了较好的系统支持，然而视频存储的稳定性和清晰度是监控质量的重要保证，目前视频监控系统的存储通常具有以下不足：编码格式较为固定；传统文件系统采用基于多级指针的数据存储模式，在存储帧数据时具有I/O操作量大和易产生存储碎片等问题，从而导致视频存储效率低和检索性能差，成为系统性能及规模提升的瓶颈。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种网络存储方法，包括：

在存储设备中建立全局块、一级索引区和数据区，将视频数据直接存储在存储设备中，所述全局块在存储设备格式化时写入，记录系统的全局存储管理信息，该全局存储管理信息包括创建时间、数据块大小、一级索引树的根节点位置和分段时长，所述一级索引区由一组索引节点组成，所有节点按索引树结构进行组织，索引树节点由多个一级索引信息组成，每个一级索引代表一个视频片段，一级索引中记录了视频片段的码流类型、起始存储位置、视频片段开始时间和结束时间等信息，所述数据区以定长数据块的形式存储视频数据；

设置帧缓存和索引缓存，在视频存储时，将帧数据及其索引信息先保存在帧缓存和索引缓存中，当缓存区被写满时，采用先数据、后索引的顺序将缓存中的数据一次性写入存储设备，并采用索引树对视频信息进行组织管理，同时对索引树中相应的视频片段信息节点进行更新。

优选地，该方法还包括，当在存储视频时，包括以下步骤：

步骤1.1：将帧数据按块对齐写入数据区；

步骤1.2：写入对应的次级索引；

步骤1.3：更新对应视频片段的一级索引；

步骤1.4：更新全局块信息；

当从所述存储设备中读取视频时，包括以下步骤：

步骤2.1：检索索引树获取视频片段的一级索引；

步骤2.2：通过一级索引定位出视频片段的次级索引区间；

步骤2.3：根据次级索引找出视频片段的帧数据存储块区间；

步骤2.4：读出视频片段的帧数据。

优选地，在所述索引树中，每个关键字对应一个指向子节点的指针，叶节点包含了树中全部关键字信息，索引树组织所有一级索引信息，其根节点位置记录在全局块中，并以视频片段的开始时间作为索引键值，所有一级索引信息均可从叶子节点中获取，以提供视频检索；

树中的每个节点由以下部分组成，包括keyNum，用于记录节点中的实际一级索引数量；main_index和child_pointer，分别用于保存一级索引信息及其对应的子节点指针；在检索开始时，先从全局块中获取索引树的根节点位置，通过遍历关键字找出一条从根节点到叶节点的符合检索时间条件的检索路径，通过一级索引定位至次级索引实现帧数据的检索，得到相应的视频片段。

优选地，所述帧缓存用于缓存帧数据，索引缓存用于缓存视频对应的索引信息，帧缓存组建完成后一次性写入存储设备，所述视频的一帧由一个I帧与多个P帧组成，在每帧前后各添加一个2字节大小的标志位MH和MT，用于数据校验和实现视频帧的单独提取；

所述帧缓存由帧头、帧数据和标志位MH和MT组成，在内存中组建的帧缓存大小为块大小的整数倍，其计算方法如下：

其中，BR为视频码率；ML为标志位长度；HS为视频帧头部大小；FR为帧率；BS为存储设备中数据单元的大小。

本发明相比现有技术，具有以下优点：

本发明提出了一种基于网络的存储方法，在较高的数据量下实现了稳定存储以及快速准确的检索，具有实用性和可靠性。

附图说明

图1是根据本发明实施例的一种网络存储方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种网络存储方法。图1是根据本发明实施例的一种网络存储方法流程图。

本发明的视频监控系统由视频帧编码、视频帧存储、实时传输、人机接口模块构成。视频帧编码过程获得帧数据进行编码后需要将这些数据传送给视频帧存储过程，本发明提出了一种双缓存内存共享方法，将视频帧编码过程和视频帧存储过程被设计为两个进程，CACHE1和CACHE2分别是按两个进程预定义的路径而开辟的2块内存共享区。编码过程每次把1帧数据写入CACHE1时，将CACHE1施加排他锁，存储过程此时只能读CACHE2的1帧数据，并同时将CACHE2施加共享锁；每当编码过程写完CACHE1时将其解锁，转而写CACHE2，此时，若检测到CACHE2已加上共享锁，则空闲等待直至CACHE2被存储过程解除共享锁后再写入数据并加上排他锁。于是，编码过程交替写入CACHE1和CACHE2，存储过程交替读出CACHE2和CACHE1，如此循环，从而保证了存储过程能够读取到编码过程输出的所有视频帧流数据，避免发生丢帧现象。

监控系统在上电后，创建一个由多个指定大小初始空白文件组成的初始空白文件池。按需从该初始空白文件池中获取句柄完成数据的写入，在写入数据前每个初始空白文件的簇链表是已知的。所以写存储设备只会改写簇链表中的内容而不会影响到其本身的结构。当发生像断电这样的异常时，丢失的只是当前正在写入的数据，并没有造成文件本身的损坏。

设计预分配空数据文件数据结构如下，定义一个结构数组记录初始空白文件池的信息，设置三个属性字段：初始空白文件完整性标志，初始空白文件序列号，一个初始空白文件所占空间。

创建每个文件时，为其分配一组连续的物理空间上的固定大小的簇，这会具有防止存储碎片产生、缩短存储设备寻道时间、提高存储设备读写速度等优点。防止存储碎片的产生是因为其在物理空间的连续性，而相邻时间具有相同性质的帧数据的聚类存储可以提高存储设备读写的效率并降低检索数据的响应时间。此外，应该在存储设备初始化时进行固定大小且连续的文件的创建以提高效率。

本发明改进了存储调度方法，可以提高多通道存储访问的效率。结合考虑被访问频率和存储设备剩余空间大小进行存储调度，尽量保证存储设备当前剩余空间在维持在一个预定的阈值，避免多通道视频流集中存储在某一个存储设备而造成存储设备I/O访问的瓶颈，尽可能地将多通道视频流均匀存储至每个存储设备中。

首先定义一个结构数组记录当前存储设备的信息：包括以下字段，存储设备名称，存储设备有效性标志，文件存在标志，存储设备剩余空间和总空间，当前访问线程数。

多通道视频流的具体调度方法步骤为：

1)计算各存储设备所剩空间百分比k，即设备剩余空间和总空间的比值；

2)计算各存储设备最大访问线程数量Vn＝k×ThreadSm，其中，ThreadSm为当前需要存储视频的通道数；

3)按剩余空间的大小对上述结构数组元素由大到小排序；

4)根据步骤3)的排序结果，把当前线程访问数量未达到Vn/2的结构数组元素中的第一个存储设备，即最大剩余空间的设备分配给当前存储线程。如果访问数量已达到Vn/2，选择其余剩余空间最大而且访问线程数没有达到Vn/2的存储设备，分配给此存储设备最近的存储线程访问请求。

5)当所有存储设备的线程访问数都已经达到Vn/2时，把剩余空间大并且访问线程数量未达到Vn的存储设备分配给最新存储线程访问请求；

6)如果结构数组中排序的最后一个存储设备已经达到Vn，则返回无存储设备可用的信息。此时则开始应用覆盖策略，将时间最久的视频文件删除，从而节省出更多的存储设备空间。采用多通道存储调度策略，使视频流较均匀地存储在各个存储设备，提高了存储设备I/O访问的效率，并且提高了存储设备的利用率。

在索引构建方面，本发明的优选的实施例采用文件索引方式，对应于每一天，建立一个以年月日为名称的文件夹，每个文件夹里包含一个用于记录当天每个文件信息(如视频的类型、起止时间、索引ID、数据位置及长度等)的文件索引表，这样可以对所有存储设备上的文件进行快速检索。

定义文件索引结构FILE_INFO如下：定义一个结构数组记录，每日存储的全部视频帧文件信息：该数组记录以下属性字段：文件有效性标志，文件的起始和结束时间，数据段起始和结束位置，图像格式，视频通道号，视频类型，其中视频类型的具体取值情况自动视频、报警视频、手动视频。同一段数据可以对应于不同的视频类型，从而保证存储设备上所有数据不会被重复复制。这样不但会节省存储空间，还使得在进行数据检索时涉及最少的对象从而提高查找效率。

可选地，本发明另一优选的实施例可以采用帧索引方式，原始视频流在经过编码后，形成两种类型的编码帧：I帧与P帧，其中I帧(帧内编码帧)是一种自带全部信息的独立帧，无须参考其他图像便可独立进行解码。所以对I帧这一帧数据的关键帧进行索引存储来记录其位置、长度、时间等信息，从而能够精确得定位、控制以及读取帧数据。

定义I帧索引结构FRAM_INDEX为：定义一个结构数组记录一个视频帧文件所包含的全部I帧索引信息，包括I帧有效性标志，当前帧相对文件起始位置的偏移量，帧长度，分别为每个I帧的数据长度，当前帧的到达时间。每当一个完整的I帧数据被接收时，一方面创建帧索引，填充除有效性标志之外的其他区域，另一方面向数据存储进程发送消息，若成功写入了数据，则将有效性标志赋值为1，若因断电或存储设备空间不足等原因使数据写入不成功时，则有效性标志保持为0，直到一个完整的I帧被成功写入为止。

根据本发明进一步优选的实施例，在将存储设备从逻辑上分为索引区与数据区的基础上，设置帧缓存和索引缓存，在视频存储时，将帧数据及其索引信息先保存在帧缓存和索引缓存中，当缓存区被写满时，采用先数据、后索引的机制将缓存中的数据一次性写入存储设备，同时对索引树中相应的视频片段信息节点进行更新。由于在网络视频监控系统中采用网络存储设备进行数据存储，因此该方案可有效地减少网络传输与存储设备I/O的数量，从而提高视频存储效率。

本发明采用索引树对视频信息进行组织管理，因此视频片段信息更新和视频检索过程即索引树的深度搜索过程。该过程的检索代价为树深度，明显优于文件系统中文件遍历的代价，有效提升了视频检索性能。

该优选的实施例中，存储设备从逻辑上分为全局块、一级索引区和数据区3个部分。其存储内容具体如下：

(1)全局块：记录了系统的全局存储管理信息，包括创建时间、数据块大小、一级索引树的根节点位置和分段时长等，在存储设备格式化时写入。

(2)一级索引区：由一组索引节点组成，所有节点按索引树结构进行组织。树节点由多个一级索引信息组成，每个一级索引代表一个视频片段。一级索引中记录了视频片段的码流类型、起始存储位置、视频片段开始时间和结束时间等信息。

(3)数据区：等分为多个大小为64MB的数据块，末尾不足一个数据块的部分保留不用。每个数据块由4×1024个16KB大小的数据单元组成，分为次级索引区和数据单元区，将所有次级索引均匀分布在各个数据块中，用于记录本数据块组中的存储信息。每个次级索引记录了数据在存储设备中的起始块编号、块数量和时间戳等信息。

基于本发明存储结构，视频的存储与读取流程描述如下。视频存储流程：

步骤1将帧数据按块对齐写入数据区；

步骤2写入对应的次级索引；

步骤3更新对应视频片段的一级索引；

步骤4更新全局块信息。

视频读取流程如下：

步骤1检索索引树获取视频片段的一级索引；

步骤2通过一级索引定位出视频片段的次级索引区间；

步骤3根据次级索引找出视频片段的帧数据存储块区间；

步骤4读出视频片段的帧数据。

对于索引树结构，一棵深度为L的m阶索引树的最大关键字数量为mL，树中的每个内部节点最多可包含m棵子树，子树数量与关键字数量相等，节点搜索时间复杂度为O(L)。

每个关键字对应一个指向子节点的指针，叶节点包含了树中全部关键字信息。本发明索引树用于组织所有一级索引信息，其根节点位置记录在全局块中，并以视频片段的开始时间作为索引键值，所有一级索引信息均可从叶子节点中获取，以提供视频的快速检索。

树中的每个节点由以下部分组成，包括keyNum，记录节点中的实际一级索引数量，最大取值为25；main_index和child_pointer，分别保存一级索引信息及其对应的子节点指针。

在检索开始时，先从全局块中获取索引树的根节点位置，通过遍历关键字找出一条从根节点到叶节点的符合检索时间条件的检索路径，通过一级索引定位至次级索引实现帧数据的快速检索，得到相应的视频片段。相比于文件系统，本发明方案明显提升了视频检索性能。

由于数据缓存分为帧缓存和索引缓存两个部分，帧缓存用于缓存帧数据，索引缓存用于缓存视频对应的索引信息。帧缓存组建完成后一次性写入存储设备，由一个I帧与多个P帧组成，为保证各帧的完整性和相邻帧之间的独立性，在每帧前后各添加一个2字节大小的标志位(MH和MT)，在达到数据校验效果的同时，也为单独提取视频帧提供了实现方法。

帧缓存由帧头(Head)、帧数据(Frame)和标志位(MH和MT)3个部分组成。在内存中组建的帧缓存大小为块大小的整数倍，其计算方法如下：

其中，BR为视频码率；ML为标志位长度；HS为视频帧头部大小；FR为帧率；BS为存储设备中数据单元的大小。除BR单位为位/秒之外，其余参数的单位均为字节。

本发明在保证视频存储可靠性的基础上，可有效地减少网络传输与存储设备I/O的数量，获得存储效率的提高。同时，还维护了一个由n个次级索引组成的索引缓存与帧缓存相对应，并采用先数据、后索引，先次级索引、后一级索引的写入策略进行视频存储。基于该写入策略，本发明还设计了一种视频重建机制。当系统出现异常时，如编码器异常断电或网络中断等，该重建机制可在异常恢复后，根据帧数据重建次级索引、根据次级索引重建一级索引，最大限度地减少视频丢失，消除数据缓存所带来的数据与索引的非一致性问题，提升系统的容错性。

综上所述，本发明提出了一种基于网络的存储方法，在较高的数据量下实现了稳定存储以及快速准确的检索，具有实用性和可靠性。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种网络存储方法，其特征在于，包括：

在存储设备中建立全局块、一级索引区和数据区，将视频数据直接存储在存储设备中，所述全局块在存储设备格式化时写入，记录系统的全局存储管理信息，该全局存储管理信息包括创建时间、数据块大小、一级索引树的根节点位置和分段时长，所述一级索引区由一组索引节点组成，所有节点按索引树结构进行组织，索引树节点由多个一级索引信息组成，每个一级索引代表一个视频片段，一级索引中记录了视频片段的码流类型、起始存储位置、视频片段开始时间和结束时间等信息，所述数据区以定长数据块的形式存储视频数据；

设置帧缓存和索引缓存，在视频存储时，将帧数据及其索引信息先保存在帧缓存和索引缓存中，当缓存区被写满时，采用先数据、后索引的顺序将缓存中的数据一次性写入存储设备，并采用索引树对视频信息进行组织管理，同时对索引树中相应的视频片段信息节点进行更新。

2.根据权利要求1所述的方法，其特征在于，该方法还包括，当在存储视频时，包括以下步骤：

步骤1.1：将帧数据按块对齐写入数据区；

步骤1.2：写入对应的次级索引；

步骤1.3：更新对应视频片段的一级索引；

步骤1.4：更新全局块信息；

当从所述存储设备中读取视频时，包括以下步骤：

步骤2.1：检索索引树获取视频片段的一级索引；

步骤2.2：通过一级索引定位出视频片段的次级索引区间；

步骤2.3：根据次级索引找出视频片段的帧数据存储块区间；

步骤2.4：读出视频片段的帧数据。

3.根据权利要求2所述的方法，其特征在于，在所述索引树中，每个关键字对应一个指向子节点的指针，叶节点包含了树中全部关键字信息，索引树组织所有一级索引信息，其根节点位置记录在全局块中，并以视频片段的开始时间作为索引键值，所有一级索引信息均可从叶子节点中获取，以提供视频检索；

树中的每个节点由以下部分组成，包括keyNum，用于记录节点中的实际一级索引数量；main_index和child_pointer，分别用于保存一级索引信息及其对应的子节点指针；在检索开始时，先从全局块中获取索引树的根节点位置，通过遍历关键字找出一条从根节点到叶节点的符合检索时间条件的检索路径，通过一级索引定位至次级索引实现帧数据的检索，得到相应的视频片段。

4.根据权利要求3所述的方法，其特征在于，所述帧缓存用于缓存帧数据，索引缓存用于缓存视频对应的索引信息，帧缓存组建完成后一次性写入存储设备，所述视频的一帧由一个I帧与多个P帧组成，在每帧前后各添加一个2字节大小的标志位MH和MT，用于数据校验和实现视频帧的单独提取；

所述帧缓存由帧头、帧数据和标志位MH和MT组成，在内存中组建的帧缓存大小为块大小的整数倍，其计算方法如下：

其中，BR为视频码率；ML为标志位长度；HS为视频帧头部大小；FR为帧率；BS为存储设备中数据单元的大小。