CN103942262A - 一种视频存储系统中元数据的优化分配方法 - Google Patents

Abstract

本发明提供了一种视频存储系统中元数据的优化分配方法，其体系结构包括索引节点预留模块和索引节点分配模块；其中索引节点预留模块用于设置预留功能是否启用以及预留节点参数；索引节点分配模块负责依据预留节点参数分配索引节点。当在目录下创建文件时，首先从父目录的索引节点开始线性的搜索空闲可用的索引节点，如果找到就直接分配给文件使用，不再从索引节点列表起始位置开始搜索空闲索引节点，从而减少索引节点更新时额外的磁盘IO开销以及寻道所导致的时间损耗。

Description

一种视频存储系统中元数据的优化分配方法

技术领域

本发明涉及一种视频存储系统中元数据的优化分配技术，该技术可用于视频监控领域中视频信息存储系统。

背景技术

在视频监控系统中，通常将采集的视频信息以文件的形式存储到文件服务器的存储系统中，因此文件系统的刷写以及数据块的分配管理等操作都会对存储性能产生显著的影响。由于视频文件格式一般都不会发生变化，且码率保持恒定，因此，存储的读写操作需要满足一定带宽，且要求带宽恒定，否则图像采集或回放就会出现丢帧现象。另外，视频存储系统需要具备独特的读写方式。数字视频编码器或视频服务器以流媒体方式将数据写入存储设备，实时监控点回传的图像和画面以流媒体方式保存在存储设备中，回放工作站以流媒体方式来读取已存储的视频文件。这种读写方式与文件服务器系统中存储采用的小数据块或文件级读写方式有较大差异，造成在文件系统为多路视频文件创建元数据时造成相同目录下文件的元数据“碎片化”。由于视频信息持续写入导致元数据的频繁更新，进而带来了严重的IO开销与磁盘寻道时间延长。

因此，利用文件服务器存储多路视频信息时存在一定的IO性能瓶颈，即便采用专用存储子系统在处理几百路视频信息的同时写入时还是无法满足性能要求。

在存储系统中保持相关的数据块相互接近可以减少磁头寻道的总体时间。数据的局部性对单个擦除块的写入产生影响，可以加速文件重写的速度，因而尽可能减少碎片是必要的。当视频监控系统采用几百路视频监控终端，同时并发回传视频流时，相当于同时向几百个文件中写入数据，此时会对文件的索引节点更新访问时间，同时也会更新对应父目录的访问时间。索引节点缓存在缓冲区中，并且周期性的被刷写到磁盘。当文件的索引节点是不规则分布时，机械磁盘将需要多次寻道以便读取索引节点，不但增加了IO的负载，同时也会导致索引节点引起的IO性能瓶颈问题。    

发明内容

本专利针对于现有技术存在的问题，设计了一种针对于视频信息元数据优化分配方法，具体说是一种视频存储系统中元数据的优化分配方法。

本发明公开的所述视频存储系统中元数据的优化分配方法，其解决所述技术问题采用的技术方案如下：所述元数据的优化分配方法的体系结构包括索引节点预留模块与索引节点分配模块；其中，

索引节点预留模块，用于设置预留功能是否启用以及预留索引节点数，索引节点最大预留参数为块组中的索引节点列表中的索引数减1；

索引节点分配模块，负责依据预留参数分配索引节点，索引节点分配模块接收预留参数后，在创建目录索引节点时预留一些文件的索引节点空间，用于存储相同目录下的文件索引节点。

当在目录下创建文件时，首先从该文件父目录的索引节点处开始线性的搜索空闲索引节点，如果找到就直接分配给文件使用，如果未能找到可用索引节点，那么就采用原先的线性索引节点分配策略。并且，为每个目录预留的索引节点区域，并不是强制预留的。目录下的新文件会首先尝试从预留区域中分配索引节点，但是这些索引节点也可以分配给其它目录中的文件，也可以分配给其它目录。

本发明公开的一种视频存储系统中元数据的优化分配方法的有益效果是：采用本发明所述优化分配方法，当在目录下创建文件时，文件系统不再从索引节点列表起始位置开始搜索空闲索引节点，而是从该文件父目录的索引节点处开始线性的搜索空闲索引节点，从而减少索引节点更新时额外的磁盘IO开销以及寻道所导致的时间损耗。

附图说明

附图1为本发明中索引节点预分配示意图；

附图2为本发明中索引节点预分配流程示意图。

具体实施方式

下面结合附图，对本发明所公开的视频存储系统中元数据的优化分配方法做进一步详细说明。

由于，在存储系统中保持相关的数据块相互接近可以减少磁头寻道的总体时间。数据的局部性对单个擦除块的写入产生影响，可以加速文件重写的速度，因而尽可能减少碎片是必要的。当视频监控系统采用几百路视频监控终端，同时并发回传视频流时，相当于同时向几百个文件中写入数据，此时会对文件的索引节点更新访问时间，同时也会更新对应父目录的访问时间。索引节点缓存在缓冲区中，并且周期性的被刷写到磁盘。当文件的索引节点是不规则分布时，机械磁盘将需要多次寻道以便读取索引节点，不但增加了IO的负载，同时也会导致索引节点引起的IO性能瓶颈问题。

为了解决上述问题，本发明对存储过程中元数据的分配流程进行优化，该优化分配方法的体系结构包括索引节点预留模块与索引节点分配模块，其中索引节点预留模块用于设置预留功能是否启用以及预留索引节点数，索引节点最大预留参数为块组中的索引节点列表中的索引数减1；

索引节点分配模块负责依据预留参数分配索引节点；索引节点分配模块接收预留参数后，在创建目录索引节点时预留一些文件的索引节点空间，用于存储相同目录下的文件索引节点。当在目录下创建文件时，文件系统不再从索引节点表起始位置开始搜索空闲索引节点，而是从该文件父目录的索引节点处开始线性的搜索空闲索引节点。从而减少索引节点更新时额外的磁盘IO开销以及寻道所导致的时间损耗。

实施例：图1为本发明所选实施例中索引节点预分配示意图，所述索引节点预留模设置预留索引节点参数Pre_Num=3，所述索引节点分配模块接收预留参数，根据预留参数Pre_Num=3在创建的A、B、C三个父目录中分配索引节点（索引分配）。

在视频存储系统中文件系统创建时，采用本发明所述优化分配方法完成索引节点的分配过程，索引节点预分配流程如图2所示：

1、设置预留节点参数（索引节点预留参数）Pre_Num，然后该参数传递给索引节点预留模块；

2、索引节点预留模块的inode_preload函数接收预留节点参数Pre_Num，在完成预留节点参数的相关设置后将相关信息传递给索引节点分配模块；

3、索引节点分配模块中的inode_alloc函数将首先验证是否是目录文件，如果是继续执行，否则返回；

4、索引节点分配模块开始为每个块组分配索引节点列表，需要获取索引节点位图，然后根据预留节点参数在索引节点位图中设置预留的索引节点；

5、当所有索引节点都被分配完后重新开始为下一个块组进行分配，直至所有块组都分配完毕。

在完成索引节点分配后，执行目录文件创建时，文件系统不再从索引节点表起始位置开始搜索空闲索引节点，而是首先从父目录的索引节点开始寻找可用的索引节点，如果找到就直接分配给文件使用，如果未能找到可用索引节点，那么就采用原先的线性索引节点分配策略。从而减少索引节点更新时额外的磁盘IO开销以及寻道所导致的时间损耗。

除去本发明所述特征技术之外，均为本专业技术人员的已知技术。

Claims (5)

1.一种视频存储系统中元数据的优化分配方法，其特征在于，所述视频存储系统中元数据的优化分配方法的体系结构包括索引节点预留模块和索引节点分配模块；其中，所述索引节点预留模块，用于设置预留功能是否启用以及预留节点参数；所述索引节点分配模块，负责依据预留节点参数分配索引节点；

当在目录下创建文件时，首先从父目录的索引节点开始线性的搜索空闲可用的索引节点，如果找到就直接分配给文件使用，若未能找到可用索引节点，则采用原先的线性索引节点分配策略。

2.根据权利要求1所述的视频存储系统中元数据的优化分配方法，其特征在于，所述预留节点参数的最大预留参数为块组中的索引节点列表中的索引数减1。

3.根据权利要求1所述视频存储系统中元数据的优化分配方法，其特征在于，所述索引节点分配模块接收预留节点参数后，在创建目录索引节点时预留一些文件的索引节点空间，用于存储相同目录下的文件索引节点。

4.根据权利要求2或3所述视频存储系统中元数据的优化分配方法，其特征在于，在视频存储系统中文件系统创建时，采用所述视频存储系统中元数据的优化分配方法完成索引节点的分配过程，索引节点预分配流程如下：

设置预留节点参数Pre_Num，然后将预留节点参数传递给索引节点预留模块；

索引节点预留模块的inode_preload函数接收预留节点参数Pre_Num，在完成预留节点参数的相关设置后将相关信息传递给索引节点分配模块；

索引节点分配模块中的inode_alloc函数将首先验证是否是目录文件，如果是继续执行，否则返回；

索引节点分配模块开始为每个块组分配索引节点列表，需要获取索引节点位图，然后根据预留节点参数在索引节点位图中设置预留的索引节点；

当所有索引节点都被分配完后重新开始为下一个块组进行分配，直至所有块组都分配完毕。

5.根据权利要求4所述视频存储系统中元数据的优化分配方法，其特征在于，目录下的新文件能够首先尝试从预留区域中分配的索引节点，且这些索引节点也能够分配给其它目录中的文件或分配给其它目录。