CN102541970A - 音视频监控数据自动归档的方法 - Google Patents
音视频监控数据自动归档的方法 Download PDFInfo
- Publication number
- CN102541970A CN102541970A CN2011101327286A CN201110132728A CN102541970A CN 102541970 A CN102541970 A CN 102541970A CN 2011101327286 A CN2011101327286 A CN 2011101327286A CN 201110132728 A CN201110132728 A CN 201110132728A CN 102541970 A CN102541970 A CN 102541970A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- video monitoring
- audio
- storage server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
本发明属于监控技术领域，具体公开了一种音视频监控数据自动归档的方法。在存储服务器的通用文件系统上创建固定大小的文件；在每个文件头部写入文件状态数据和文件标识；存储服务器开始执行录像功能时，根据文件标识查找空闲文件；存储服务器从网络接收视频监控录像数据；将视频监控录像数据分组成块数据，并将块数据和块数据的描述信息一起写入到空闲文件，更新文件状态数据和文件标识。采用了本发明的技术方案，能够显著提高存储服务器的并发处理能力，降低网络视频监控系统的部署和使用成本。
Description
技术领域
本发明属于监控技术领域，尤其涉及一种音视频监控数据自动归档的方法。
背景技术
随着技术的不断发展，基于宽带通信技术的网络视频监控得到的广泛的应用，基于磁盘阵列技术的存储服务器成为网络视频监控系统的重要功能模块。RAID5技术的使用极大的提高了视频监控录像文件存储的稳定性。企业级的磁盘阵列可支持几十TB的存储空间，但存储视频监控录像文件是一种高并发磁盘写入的应用，磁盘IO成为性能瓶颈，在实际应用中突显出并发处理能力低，能力与容量不能与视频监控业务需求相匹配。
影响网络视频监控系统中存储服务器性能的原因包括两个方面：一是文件系统的管理开销很大，特别是文件的创建和删除操作。以10TB的文件为例，在主流的服务器中创建/删除10TB的文件需要耗费数分钟的时间。在视频监控业务领域需要全天候的视频录像功能，文件管理开销将占用储存服务器的大量IO操作，严重影响视频录像功能的处理能力。
另一方面，文件系统在长期使用过程中，由于创建和删除文件的操作会产生文件系统碎片，即同一文件的不同部分在硬盘驱动器上的不同位置。文件的碎片会导致存储服务器性能降低，这主要因为驱动器上的数据分散，导致进行读取和写入操作时要进行磁头寻道，这个过程是一个机械过程，将耗费大量的时间。数据越分散，进行磁头寻道的机率就越高，部件的磨损导致整体使用时间的减少也会变得更迅速。
传统安防监控产品DVR为了解决这个问题采用的方式是不采用文件系统。但这种方式使DVR产品不能与其它IT产品兼容，不能使用现有成熟的数据迁移、备份、共享、恢复等工具。
发明内容
本发明的目的在于提出一种音视频监控数据自动归档的方法，能够显著提高存储服务器的并发处理能力，降低网络视频监控系统的部署和使用成本。
为达此目的，本发明采用以下技术方案：
一种音视频监控数据自动归档的方法，包括以下步骤：
A、在存储服务器的通用文件系统上创建固定大小的文件；
B、在每个文件头部写入文件状态数据和文件标识；
C、存储服务器开始执行录像功能时，根据文件标识查找空闲文件；
D、存储服务器从网络接收视频监控录像数据；
E、将视频监控录像数据分组成块数据，并将块数据和块数据的描述信息一起写入到空闲文件，并返回步骤B。
文件状态数据包括存储文件长度、视频监控点位标识、视频监控录像数据格式的版本、用于视频监控录像数据解码的全局参数和最后修改标识，其中最后修改标识采用时间戳方式。
步骤B中，当文件是第一次创建时，文件标识设置为空闲文件。
步骤B中，当文件存储时间大于预设的存储周期时，文件标识设置为空闲文件。
通过比较当前时间和文件状态数据中的最后修改标识获取文件存储时间。
当存储服务器中文件标识为空闲文件的文件数量少于预设值时，根据文件状态数据中的最后修改标识从早到晚将不足数量的文件的文件标识设置为空闲文件。
步骤A中，创建文件之前，将磁盘进行格式化。
步骤D进一步包括以下步骤：
存储服务器从网络接收视频监控录像数据，缓存到内存空间中；当内存空间中的视频监控录像数据达到预设大小时，开始写入。
步骤E中，根据存储服务器中通用文件系统的文件块大小，将视频监控录像数据分组成块数据，分组后剩余的视频监控录像数据继续保留在内存空间中，直到内存空间中的视频监控录像数据达到预设大小时，继续开始写入。步骤E中，在将内存空间中的视频监控录像数据写入文件前，判断当前文件的文件指针与文件尾之间的空间是否能容纳内存空间中的视频监控录像数据，如果是，则进行写入操作，如果否，刚关闭当前文件，打开下一个文件写入内存空间中的视频监控录像数据。
采用了本发明的技术方案，能够避免对视频监控录像文件的删除操作，杜绝了文件碎片的产生，优化了存储服务器的IO瓶颈问题，并且应用性能强、稳定性高，能够有效提升存储服务器的并发录像性能，同时延长硬盘的使用寿命。
附图说明
此附图说明所提供的图片用来辅助对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：
图1为是本发明具体实施方式中存储视频监控录像数据的流程图。
具体实施方式
下面将结合附图以及具体实施方法来详细说明本发明，在本发明的示意性实施及说明用来解释本发明，但并不作为对本发明的限定。
实施例1：
图1是本发明具体实施方式中存储视频监控录像数据的流程图。如图1所示，该流程包括以下步骤：
步骤101、对存储服务器上的磁盘进行格式化，保证磁盘中不存储任务文件，然后在存储服务器的通用文件系统上创建固定大小的文件，创建文件的大小通常取值为200MB。
步骤102、在每个文件头部写入文件状态数据和文件标识，该文件状态数据至少要包括存储文件长度、视频监控点位标识、视频监控录像数据格式的版本、用于视频监控录像数据解码的全局参数和最后修改标识，其中最后修改标识采用时间戳方式。
当文件是第一次创建时，文件标识设置为空闲文件。
或者通过比较当前时间和文件状态数据中的最后修改标识获取文件存储时间，当文件存储时间大于预设的存储周期时，文件标识设置为空闲文件。例如当视频录像超出存储周期时，比如一路视频录像存储周期是7天，那么最近7天的录像文件有效的，第8天的录像文件就是过期的，则会将最近7天前的所有录像文件进行回收，回收时并不是直接将文件删除掉，而是在程序内部将文件标识为空闲文件，并更新摄像头录像文件列表。
或者当存储服务器中文件标识为空闲文件的文件数量少于预设值时，根据文件状态数据中的最后修改标识从早到晚将不足数量的文件的文件标识设置为空闲文件，即存储服务器中达到预设值数量的空闲文件。例如当空闲文件的个数少于指定大小时，则程序进行一次录像文件的回收，回收的文件对像是当前有效的录像文件中最老的文件，在程序内部将文件标识为空闲文件，同时更新摄像头录像文件列表。
步骤103、存储服务器开始执行录像功能时，根据文件标识查找空闲文件。
步骤104、存储服务器从网络接收视频监控录像数据，缓存到申请的内存空间中，当内存空间中的视频监控录像数据达到预设大小时，转至步骤105。
步骤105、在将内存空间中的视频监控录像数据写入文件前，判断当前文件的文件指针与文件尾之间的空间是否能容纳内存空间中的视频监控录像数据，如果能够容纳，则转至步骤106，如果不够容纳，刚关闭当前文件，打开下一个文件再转至步骤106。
步骤106、将视频监控录像数据分组成块数据，并将块数据和块数据的描述信息一起写入到空闲文件，并返回步骤102。
本步骤中，将根据存储服务器中通用文件系统的文件块大小，将视频监控录像数据分组成块数据，分组后剩余的视频监控录像数据继续保留在内存空间中，直到内存空间中的视频监控录像数据达到预设大小时，继续开始写入。
例如Linux的EXT3的文件系统的文件块大小是4K，当前缓存的视频数据如果是10K的话，那么当要将此视频数据写入文件时，先将第一个4K数据写入文件，再将第二个4K数据写入文件，之后剩余的2K数据暂不写入文件，继续留在内存中，等待下一次达到指定大小时再写入文件。
本具体实施方式具有以下优势：
基于通用文件系统，与大量现存的存储管理、备份软件兼容。
不需文件创建/删除操作，极大的降低了IO负载，有效的提升存储服务器的开发处理能力。
没有文件碎片产生，不仅能够提高性能，也能有效的延长磁盘的使用寿命。
以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种音视频监控数据自动归档的方法，其特征在于，包括以下步骤：
A、在存储服务器的通用文件系统上创建固定大小的文件；
B、在每个文件头部写入文件状态数据和文件标识；
C、存储服务器开始执行录像功能时，根据文件标识查找空闲文件；
D、存储服务器从网络接收视频监控录像数据；
E、将视频监控录像数据分组成块数据，并将块数据和块数据的描述信息一起写入到空闲文件，并返回步骤B。
2.根据权利要求1所述的音视频监控数据自动归档的方法，其特征在于，
文件状态数据包括存储文件长度、视频监控点位标识、视频监控录像数据格式的版本、用于视频监控录像数据解码的全局参数和最后修改标识，其中最后修改标识采用时间戳方式。
3.根据权利要求1或者2所述的音视频监控数据自动归档的方法，其特征在于，
步骤B中，当文件是第一次创建时，文件标识设置为空闲文件。
4.根据权利要求1或者2所述的音视频监控数据自动归档的方法，其特征在于，
步骤B中，当文件存储时间大于预设的存储周期时，文件标识设置为空闲文件。
5.根据权利要求4所述的音视频监控数据自动归档的方法，其特征在于，通过比较当前时间和文件状态数据中的最后修改标识获取文件存储时间。
6.根据权利要求1或者2所述的音视频监控数据自动归档的方法，其特征在于，
当存储服务器中文件标识为空闲文件的文件数量少于预设值时，根据文件状态数据中的最后修改标识从早到晚将不足数量的文件的文件标识设置为空闲文件。
7.根据权利要求1所述的音视频监控数据自动归档的方法，其特征在于，
步骤A中，创建文件之前，将磁盘进行格式化。
8.根据权利要求1或者2所述的音视频监控数据自动归档的方法，其特征在于，
步骤D进一步包括以下步骤：存储服务器从网络接收视频监控录像数据，缓存到内存空间中；当内存空间中的视频监控录像数据达到预设大小时，开始写入。
9.根据权利要求8所述的音视频监控数据自动归档的方法，其特征在于，
步骤E中，根据存储服务器中通用文件系统的文件块大小，将视频监控录像数据分组成块数据，分组后剩余的视频监控录像数据继续保留在内存空间中，直到内存空间中的视频监控录像数据达到预设大小时，继续开始写入。
10.根据权利要求9所述的音视频监控数据自动归档的方法，其特征在于，
步骤E中，在将内存空间中的视频监控录像数据写入文件前，判断当前文件的文件指针与文件尾之间的空间是否能容纳内存空间中的视频监控录像数据，如果是，则进行写入操作，如果否，刚关闭当前文件，打开下一个文件写入内存空间中的视频监控录像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011101327286A CN102541970A (zh) | 2011-05-20 | 2011-05-20 | 音视频监控数据自动归档的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011101327286A CN102541970A (zh) | 2011-05-20 | 2011-05-20 | 音视频监控数据自动归档的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102541970A true CN102541970A (zh) | 2012-07-04 |
Family
ID=46348884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011101327286A Pending CN102541970A (zh) | 2011-05-20 | 2011-05-20 | 音视频监控数据自动归档的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102541970A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819495A (zh) * | 2012-08-10 | 2012-12-12 | 东方网力科技股份有限公司 | 数据存储方法及装置 |
| CN106873920A (zh) * | 2017-03-22 | 2017-06-20 | 世纪恒通科技股份有限公司 | 一种避免磁盘碎片的呼叫中心录音存储系统及存储方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101583088A (zh) * | 2008-05-15 | 2009-11-18 | 王小江 | 远程现场图像信息处理系统及方法 |
| CN101620697A (zh) * | 2009-07-27 | 2010-01-06 | 周巍 | 一种检测管控一体化系统及方法 |
| CN101742263A (zh) * | 2009-12-08 | 2010-06-16 | 北京互信互通信息技术股份有限公司 | 一种存储视频监控录像数据的方法 |
-
2011
- 2011-05-20 CN CN2011101327286A patent/CN102541970A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101583088A (zh) * | 2008-05-15 | 2009-11-18 | 王小江 | 远程现场图像信息处理系统及方法 |
| CN101620697A (zh) * | 2009-07-27 | 2010-01-06 | 周巍 | 一种检测管控一体化系统及方法 |
| CN101742263A (zh) * | 2009-12-08 | 2010-06-16 | 北京互信互通信息技术股份有限公司 | 一种存储视频监控录像数据的方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819495A (zh) * | 2012-08-10 | 2012-12-12 | 东方网力科技股份有限公司 | 数据存储方法及装置 |
| CN102819495B (zh) * | 2012-08-10 | 2015-01-07 | 东方网力科技股份有限公司 | 数据存储方法及装置 |
| CN106873920A (zh) * | 2017-03-22 | 2017-06-20 | 世纪恒通科技股份有限公司 | 一种避免磁盘碎片的呼叫中心录音存储系统及存储方法 |
| CN106873920B (zh) * | 2017-03-22 | 2023-07-28 | 世纪恒通科技股份有限公司 | 一种避免磁盘碎片的呼叫中心录音存储系统及存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101742263A (zh) | 一种存储视频监控录像数据的方法 | |
| US11385840B2 (en) | Multi-tiered data storage with archival blockchains | |
| CN102012851B (zh) | 一种持续数据保护方法及服务器 | |
| CN107870973B (zh) | 一种加快多路监控同时回放的文件存储系统 | |
| CN104462563B (zh) | 一种文件存储方法和系统 | |
| US7562181B2 (en) | Flash memory systems with direct data file storage utilizing data consolidation and garbage collection | |
| US9141289B2 (en) | Intelligent data storage utilizing one or more records | |
| CN103226965B (zh) | 基于时间位图的音视频数据存取方法 | |
| CN102968422B (zh) | 流数据存储控制系统及其方法 | |
| CN101707633B (zh) | 一种基于文件系统的消息中间件持久消息的存储方法 | |
| EP2735978A1 (en) | Storage system and management method used for metadata of cluster file system | |
| CN102136290A (zh) | 一种嵌入式实时视频文件存储方法 | |
| CN106951375B (zh) | 在存储系统中删除快照卷的方法及装置 | |
| US20090319532A1 (en) | Method of and system for managing remote storage | |
| CN104581406A (zh) | 一种网络视频录像与回放系统和方法 | |
| CA2729078C (en) | Systems and methods for managing single instancing data | |
| CN102750110B (zh) | 一种配置信息高可靠的磁盘阵列系统 | |
| CN103037203B (zh) | 一种基于块存储的索引恢复方法和装置 | |
| CN102314383A (zh) | 数据索引的故障恢复方法和装置 | |
| CN102244758A (zh) | 一种基于录像文件的数据获取方法和设备 | |
| CN111475102B (zh) | 一种基于蓝光的对象存储系统及其存储方法 | |
| CN103164528B (zh) | 一种音视频数据的索引建立方法 | |
| CN103514258A (zh) | 一种基于离线缓存文件操作集中记录预处理并重放的方法 | |
| CN104391802A (zh) | 一种精简池元数据节点刷新一致性保护方法 | |
| CN105068761A (zh) | 一种便于检索的视频截图存储方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120704 |