CN103761056A

CN103761056A - 一种视频监控应用中流式数据的存储方法

Info

Publication number: CN103761056A
Application number: CN201410022146.6A
Authority: CN
Inventors: 张会健
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2014-01-17
Filing date: 2014-01-17
Publication date: 2014-04-30

Abstract

本发明提供一种视频监控应用中流式数据的存储方法，以视频数据帧为单位在磁盘裸设备上进行读写，不再依赖于传统的文件系统进行录像数据的文件级管理，在每帧数据的开始、结束位置记录此帧数据的长度，由于一秒内可能包含多帧数据，在数据库中记录每一秒第一帧数据的偏移位置，后续帧数据可以根据磁盘上记录的帧长度依次进行计算读取。该一种视频监控应用中流式数据的存储方法和现有技术相比，避免了基于文件系统存储的碎片化问题，且支持录像数据的秒级检索；实用性强，易于推广。

Description

一种视频监控应用中流式数据的存储方法

技术领域

本发明涉及计算机数据存储技术领域，具体的说是一种视频监控应用中流式数据的存储方法。

背景技术

在视频监控领域，通常采用文件系统的方式进行录像文件的存储，但是在使用传统文件系统时，存在以下缺点：

1）视频文件通常为几百兆的大文件件，传统文件系统为兼顾小文件读写的应用，通常对大文件不能提供最好的性能支持。

2）目前的视频监控应用中，前端通常具有几十、上百路摄像头，在后端每路摄像头对应一个视频文件，传统文件系统在多路并发写的情况下效率较低。

3）在文件系统写满时，需要删除老的录像文件，传统文件系统在边删除边写入的情况下效率较低，且造成视频文件出现大量的碎片。

4）基于传统的文件系统进行存储，不便于对视频数据实现秒级检索。

基于此，现提供一种以视频数据帧为单位在磁盘裸设备上进行读写，不再依赖于传统的文件系统进行录像数据的文件级管理，避免了文件系统存储的碎片化问题，且支持录像数据的秒级检索的流式数据存储方法。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种视频监控应用中流式数据的存储方法。

本发明的技术方案是按以下方式实现的，该一种视频监控应用中流式数据的存储方法，其具体存储过程为：

1)在进行录像存储之前，首先进行裸设备存储池的初始化，将裸设备逐个添加到存储池中，构成存储池的线性存储空间；

2)将每个裸设备按固定大小划分为一个个的分配块，在进行录像时以一个分配块为单位进行存储空间的申请和管理；

3）在摄像头进行写入时，首先对当前正在使用的裸设备进行查询，获取当前裸设备上的下一个空闲块，并将此摄像头ID、裸设备路径、空闲块的编号作为索引信息存入数据库中；

4）在摄像头进行录像时，视频数据以帧为单位进行接收，首先将每路的视频数据写入缓存，待缓存填充完毕后，将多帧数据批量异步写入磁盘；

5）以每一小时为一条记录进行数据库的更新，记录中记载摄像头ID、录像的开始时间、结束时间、录像数据所在的分配块编号、每一秒的第一帧数据在分配块上的位置偏移；

6）在存储池写满之后，在数据库中根据摄像头ID检索其最早的录像数据所在的裸设备编号及分配块编号，然后根据查询的分配块进行录像的循环写，并将覆盖掉的录像数据所对应的数据库索引信息进行清除。

所述步骤2）中的分配块的大小在256MB～1GB中进行指定。

在步骤4）中，根据存储设备的内存配置情况，每路视频的缓存大小设置为4M～16MB。

所述步骤4）中为便于在进行录像下载和播放时进行帧边界的划分，在每一帧数据的开始结束位置记录此帧数据的长度，根据帧长完成后续帧的连续读取。

本发明与现有技术相比所产生的有益效果是：

本发明的一种视频监控应用中流式数据的存储方法以视频数据帧为单位在磁盘裸设备上进行读写，不再依赖于传统的文件系统进行录像数据的文件级管理，避免了基于文件系统存储的碎片化问题，且支持录像数据的秒级检索；在存储空间已满需要继续录像时，不需要传统文件系统的删除操作，直接裸设备上进行最早录像数据的覆盖即可，保证了覆盖写时的IO稳定性；解决了基于传统的文件系统方式进行录像数据管理存在的缺点，提高了录像的效率和稳定性，实用性强，易于推广。

附图说明

附图1为本发明的录像数据帧在磁盘上的存储格式示意图。

具体实施方式

下面结合附图对本发明的一种视频监控应用中流式数据的存储方法作以下详细说明。

如附图1所示，一种面向对象的视频监控应用中流式数据的存储方法, 采用面向对象的方式开发自动化测试脚本。编写测试脚本时，首先明确所有的自动化控制对象，然后以这些自动化控制对象为模板制作类库，之后就可以对这些类库进行初始化，获得实例化的自动化控制对象，至此，自动化测试脚本的基础便搭建完成，而顶层执行脚本的编写也就变得非常简单，按测试流程罗列这些自动化控制对象的方法即可。其具体存储过程为：

1)在进行录像存储之前，首先进行裸设备存储池的初始化，将裸设备逐个添加到存储池中，构成存储池的线性存储空间。

2)将每个裸设备按固定大小划分为一个个的分配块，分配块的大小可以按256MB～1GB进行指定。在进行录像时以一个分配块为单位进行存储空间的申请和管理，相对传统文件系统以4KB大小的数据块管理减少了碎片数量和空间申请的次数。

3）在摄像头进行写入时，首先对当前正在使用的裸设备进行查询，获取当前裸设备上的下一个空闲块，并将此摄像头ID、裸设备路径、空闲块的编号作为索引信息存入数据库中。

4）在摄像头进行录像时，视频数据以帧为单位进行接收，通常一帧视频数据大小为1K～2KB,为提高写入效率，首先将每路的视频数据写入缓存，根据存储设备的内存配置情况，每路视频的缓存设置为4MB～16MB的大小，待缓存填充完毕后，将多帧数据批量异步写入磁盘。

为便于在进行录像下载和播放时进行帧边界的划分，在每一帧数据的开始结束位置记录了此帧数据的长度，根据帧长可以完成后续帧的连续读取。

5）为便于对某一时段的录像进行秒级检索，以每一小时为一条记录进行数据库的更新，

记录中描述了摄像头ID、录像的开始时间、结束时间、录像数据所在的分配块编号、每一秒的第一帧数据在分配块上的位置偏移。由于一秒内可能包含多帧数据，记录每一秒第一帧数据的偏移位置，可以完成录像的秒级检索，后续帧数据可以根据帧长度进行计算读取。

6）在存储池写满之后，为继续写入新的录像数据，需要对最早的录像数据进行覆盖，首先在数据库中根据摄像头ID检索其最早的录像数据所在的裸设备编号及分配块编号，然后根据查询的分配块进行录像的循环写，并将覆盖掉的录像数据所对应的数据库索引信息进行清除。

由于视频数据在存储时并不依赖于文件系统，只是以视频数据帧为单位进行磁盘裸写，录像的检索借助于数据库完成，所以避免了传统的文件系统上录像文件删除操作，降低了磁盘IO，保证了录像进行覆盖写时的稳定性。

本发明以视频数据帧为单位在磁盘裸设备上进行读写，不再依赖于传统的文件系统进行录像数据的文件级管理，避免了基于文件系统存储的碎片化问题，且在存储空间已满需要继续录像时，不需要传统文件系统的删除操作，直接裸设备上进行最早录像数据的覆盖即可，保证了覆盖写时的IO稳定性。

以上所述仅为本发明的实施例而已，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种视频监控应用中流式数据的存储方法，其特征在于其具体存储过程为：

2.根据权利要求1所述的一种视频监控应用中流式数据的存储方法，其特征在于：所述步骤2）中的分配块的大小在256MB～1GB中进行指定。

3.根据权利要求1或2所述的一种视频监控应用中流式数据的存储方法，其特征在于：在步骤4）中，根据存储设备的内存配置情况，每路视频的缓存大小设置为4M～16MB。

4.根据权利要求3所述的一种视频监控应用中流式数据的存储方法，其特征在于：所述步骤4）中为便于在进行录像下载和播放时进行帧边界的划分，在每一帧数据的开始结束位置记录此帧数据的长度，根据帧长完成后续帧的连续读取。