CN101742263A - 一种存储视频监控录像数据的方法 - Google Patents
一种存储视频监控录像数据的方法 Download PDFInfo
- Publication number
- CN101742263A CN101742263A CN200910249982A CN200910249982A CN101742263A CN 101742263 A CN101742263 A CN 101742263A CN 200910249982 A CN200910249982 A CN 200910249982A CN 200910249982 A CN200910249982 A CN 200910249982A CN 101742263 A CN101742263 A CN 101742263A
- Authority
- CN
- China
- Prior art keywords
- file
- surveillance video
- video data
- data
- storage server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种存储视频监控录像数据的方法，在存储服务器的通用文件系统上创建固定大小的文件；在每个文件头部写入文件状态数据和文件标识；存储服务器开始执行录像功能时，根据文件标识查找空闲文件；存储服务器从网络接收视频监控录像数据；将视频监控录像数据分组成块数据，并将块数据和块数据的描述信息一起写入到空闲文件，更新文件状态数据和文件标识。采用了本发明的技术方案，能够显著提高存储服务器的并发处理能力，降低网络视频监控系统的部署和使用成本。
Description
技术领域
本发明涉及电子信息技术领域，尤其涉及一种存储视频监控录像数据的方法。
背景技术
随着技术的不断发展，基于宽带通信技术的网络视频监控得到的广泛的应用，基于磁盘阵列技术的存储服务器成为网络视频监控系统的重要功能模块。RAID5技术的使用极大的提高了视频监控录像文件存储的稳定性。企业级的磁盘阵列可支持几十TB的存储空间，但存储视频监控录像文件是一种高并发磁盘写入的应用，磁盘IO成为性能瓶颈，在实际应用中突显出并发处理能力低，能力与容量不能与视频监控业务需求相匹配。
影响网络视频监控系统中存储服务器性能的原因包括两个方面：一是文件系统的管理开销很大，特别是文件的创建和删除操作。以10TB的文件为例，在主流的服务器中创建/删除10TB的文件需要耗费数分钟的时间。在视频监控业务领域需要全天候的视频录像功能，文件管理开销将占用储存服务器的大量IO操作，严重影响视频录像功能的处理能力。
另一方面，文件系统在长期使用过程中，由于创建和删除文件的操作会产生文件系统碎片，即同一文件的不同部分在硬盘驱动器上的不同位置。文件的碎片会导致存储服务器性能降低，这主要因为驱动器上的数据分散，导致进行读取和写入操作时要进行磁头寻道，这个过程是一个机械过程，将耗费大量的时间。数据越分散，进行磁头寻道的机率就越高，部件的磨损导致整体使用时间的减少也会变得更迅速。
传统安防监控产品DVR为了解决这个问题采用的方式是不采用文件系统。但这种方式使DVR产品不能与其它IT产品兼容，不能使用现有成熟的数据迁移、备份、共享、恢复等工具。
发明内容
本发明的目的在于提出一种存储视频监控录像文件的方法，能够显著提高存储服务器的并发处理能力，降低网络视频监控系统的部署和使用成本。
为达此目的，本发明采用以下技术方案：
一种存储视频监控录像数据的方法，包括以下步骤：
A、在存储服务器的通用文件系统上创建固定大小的文件；
B、在每个文件头部写入文件状态数据和文件标识；
C、存储服务器开始执行录像功能时，根据文件标识查找空闲文件；
D、存储服务器从网络接收视频监控录像数据；
E、将视频监控录像数据分组成块数据，并将块数据和块数据的描述信息一起写入到空闲文件，并返回步骤B。
文件状态数据包括存储文件长度、视频监控点位标识、视频监控录像数据格式的版本、用于视频监控录像数据解码的全局参数和最后修改标识，其中最后修改标识采用时间戳方式。
步骤B中，当文件是第一次创建时，文件标识设置为空闲文件。
步骤B中，当文件存储时间大于预设的存储周期时，文件标识设置为空闲文件。
通过比较当前时间和文件状态数据中的最后修改标识获取文件存储时间。
当存储服务器中文件标识为空闲文件的文件数量少于预设值时，根据文件状态数据中的最后修改标识从早到晚将不足数量的文件的文件标识设置为空闲文件。
步骤A中，创建文件之前，将磁盘进行格式化。
步骤D进一步包括以下步骤：
存储服务器从网络接收视频监控录像数据，缓存到内存空间中；
当内存空间中的视频监控录像数据达到预设大小时，开始写入。
步骤E中，根据存储服务器中通用文件系统的文件块大小，将视频监控录像数据分组成块数据，分组后剩余的视频监控录像数据继续保留在内存空间中，直到内存空间中的视频监控录像数据达到预设大小时，继续开始写入。
步骤E中，在将内存空间中的视频监控录像数据写入文件前，判断当前文件的文件指针与文件尾之间的空间是否能容纳内存空间中的视频监控录像数据，如果是，则进行写入操作，如果否，刚关闭当前文件，打开下一个文件写入内存空间中的视频监控录像数据。
采用了本发明的技术方案，能够避免对视频监控录像文件的删除操作，杜绝了文件碎片的产生，优化了存储服务器的IO瓶颈问题，并且应用性能强、稳定性高，能够有效提升存储服务器的并发录像性能，同时延长硬盘的使用寿命。
附图说明
图1是本发明具体实施方式中存储视频监控录像数据的流程图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
图1是本发明具体实施方式中存储视频监控录像数据的流程图。如图1所示，该流程包括以下步骤：
步骤101、对存储服务器上的磁盘进行格式化，保证磁盘中不存储任务文件，然后在存储服务器的通用文件系统上创建固定大小的文件，创建文件的大小通常取值为200MB。
步骤102、在每个文件头部写入文件状态数据和文件标识，该文件状态数据至少要包括存储文件长度、视频监控点位标识、视频监控录像数据格式的版本、用于视频监控录像数据解码的全局参数和最后修改标识，其中最后修改标识采用时间戳方式。
当文件是第一次创建时，文件标识设置为空闲文件。
或者通过比较当前时间和文件状态数据中的最后修改标识获取文件存储时间，当文件存储时间大于预设的存储周期时，文件标识设置为空闲文件。例如当视频录像超出存储周期时，比如一路视频录像存储周期是7天，那么最近7天的录像文件有效的，第8天的录像文件就是过期的，则会将最近7天前的所有录像文件进行回收，回收时并不是直接将文件删除掉，而是在程序内部将文件标识为空闲文件，并更新摄像头录像文件列表。
或者当存储服务器中文件标识为空闲文件的文件数量少于预设值时，根据文件状态数据中的最后修改标识从早到晚将不足数量的文件的文件标识设置为空闲文件，即存储服务器中达到预设值数量的空闲文件。例如当空闲文件的个数少于指定大小时，则程序进行一次录像文件的回收，回收的文件对像是当前有效的录像文件中最老的文件，在程序内部将文件标识为空闲文件，同时更新摄像头录像文件列表。
步骤103、存储服务器开始执行录像功能时，根据文件标识查找空闲文件。
步骤104、存储服务器从网络接收视频监控录像数据，缓存到申请的内存空间中，当内存空间中的视频监控录像数据达到预设大小时，转至步骤105。
步骤105、在将内存空间中的视频监控录像数据写入文件前，判断当前文件的文件指针与文件尾之间的空间是否能容纳内存空间中的视频监控录像数据，如果能够容纳，则转至步骤106，如果不够容纳，刚关闭当前文件，打开下一个文件再转至步骤106。
步骤106、将视频监控录像数据分组成块数据，并将块数据和块数据的描述信息一起写入到空闲文件，并返回步骤102。
本步骤中，将根据存储服务器中通用文件系统的文件块大小，将视频监控录像数据分组成块数据，分组后剩余的视频监控录像数据继续保留在内存空间中，直到内存空间中的视频监控录像数据达到预设大小时，继续开始写入。
例如Linux的EXT3的文件系统的文件块大小是4K，当前缓存的视频数据如果是10K的话，那么当要将此视频数据写入文件时，先将第一个4K数据写入文件，再将第二个4K数据写入文件，之后剩余的2K数据暂不写入文件，继续留在内存中，等待下一次达到指定大小时再写入文件。
本具体实施方式具有以下优势：
基于通用文件系统，与大量现存的存储管理、备份软件兼容。
不需文件创建/删除操作，极大的降低了IO负载，有效的提升存储服务器的开发处理能力。
没有文件碎片产生，不仅能够提高性能，也能有效的延长磁盘的使用寿命。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种存储视频监控录像数据的方法，其特征在于，包括以下步骤：
A、在存储服务器的通用文件系统上创建固定大小的文件；
B、在每个文件头部写入文件状态数据和文件标识；
C、存储服务器开始执行录像功能时，根据文件标识查找空闲文件；
D、存储服务器从网络接收视频监控录像数据；
E、将视频监控录像数据分组成块数据，并将块数据和块数据的描述信息一起写入到空闲文件，并返回步骤B。
2.根据权利要求1所述的一种存储视频监控录像数据的方法，其特征在于，文件状态数据包括存储文件长度、视频监控点位标识、视频监控录像数据格式的版本、用于视频监控录像数据解码的全局参数和最后修改标识，其中最后修改标识采用时间戳方式。
3.根据权利要求1或者2所述的一种存储视频监控录像数据的方法，其特征在于，步骤B中，当文件是第一次创建时，文件标识设置为空闲文件。
4.根据权利要求1或者2所述的一种存储视频监控录像数据的方法，其特征在于，步骤B中，当文件存储时间大于预设的存储周期时，文件标识设置为空闲文件。
5.根据权利要求4所述的一种存储视频监控录像数据的方法，其特征在于，通过比较当前时间和文件状态数据中的最后修改标识获取文件存储时间。
6.根据权利要求1或者2所述的一种存储视频监控录像数据的方法，其特征在于，当存储服务器中文件标识为空闲文件的文件数量少于预设值时，根据文件状态数据中的最后修改标识从早到晚将不足数量的文件的文件标识设置为空闲文件。
7.根据权利要求1所述的一种存储视频监控录像数据的方法，其特征在于，步骤A中，创建文件之前，将磁盘进行格式化。
8.根据权利要求1或者2所述的一种存储视频监控录像数据的方法，其特征在于，步骤D进一步包括以下步骤：
存储服务器从网络接收视频监控录像数据，缓存到内存空间中；
当内存空间中的视频监控录像数据达到预设大小时，开始写入。
9.根据权利要求8所述的一种存储视频监控录像数据的方法，其特征在于，步骤E中，根据存储服务器中通用文件系统的文件块大小，将视频监控录像数据分组成块数据，分组后剩余的视频监控录像数据继续保留在内存空间中，直到内存空间中的视频监控录像数据达到预设大小时，继续开始写入。
10.根据权利要求9所述的一种存储视频监控录像数据的方法，其特征在于，步骤E中，在将内存空间中的视频监控录像数据写入文件前，判断当前文件的文件指针与文件尾之间的空间是否能容纳内存空间中的视频监控录像数据，如果是，则进行写入操作，如果否，刚关闭当前文件，打开下一个文件写入内存空间中的视频监控录像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910249982A CN101742263A (zh) | 2009-12-08 | 2009-12-08 | 一种存储视频监控录像数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910249982A CN101742263A (zh) | 2009-12-08 | 2009-12-08 | 一种存储视频监控录像数据的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101742263A true CN101742263A (zh) | 2010-06-16 |
Family
ID=42465048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910249982A Pending CN101742263A (zh) | 2009-12-08 | 2009-12-08 | 一种存储视频监控录像数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101742263A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102547227A (zh) * | 2010-12-08 | 2012-07-04 | 中国电信股份有限公司 | 视频监控文件的传输处理方法与系统 |
| CN102541970A (zh) * | 2011-05-20 | 2012-07-04 | 广东迅通科技股份有限公司 | 音视频监控数据自动归档的方法 |
| CN102695024A (zh) * | 2011-03-21 | 2012-09-26 | 鸿富锦精密工业（深圳）有限公司 | 网络视频录像机的前端录影系统及方法 |
| CN102769546A (zh) * | 2012-08-01 | 2012-11-07 | 北京经纬恒润科技有限公司 | 一种报文分段保存的方法及系统 |
| CN102932622A (zh) * | 2012-11-08 | 2013-02-13 | 珠海全志科技股份有限公司 | 数字录像设备的录像方法及装置 |
| CN103313031A (zh) * | 2012-03-09 | 2013-09-18 | 财团法人工业技术研究院 | 动态派工录影系统与方法 |
| CN103702057A (zh) * | 2013-09-03 | 2014-04-02 | 成都竣泰科技有限公司 | 一种适应于多路并发写入流媒体数据的分块式存储算法 |
| CN104811646A (zh) * | 2015-05-15 | 2015-07-29 | 电子科技大学 | 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法 |
| CN105451028A (zh) * | 2015-12-03 | 2016-03-30 | 深圳市泛海三江电子有限公司 | 存储服务器及其实现方法 |
| CN105872458A (zh) * | 2016-03-29 | 2016-08-17 | 上海斐讯数据通信技术有限公司 | 一种视频数据获取系统及方法 |
| CN105930405A (zh) * | 2013-07-12 | 2016-09-07 | 北京奇虎科技有限公司 | 适于url数据抓取中对数据缓存的方法及装置 |
| CN107122133A (zh) * | 2017-04-24 | 2017-09-01 | 珠海全志科技股份有限公司 | 数据存储方法及装置 |
| CN110737389A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康威视系统技术有限公司 | 存储数据的方法和装置 |
| CN113986151A (zh) * | 2021-12-29 | 2022-01-28 | 南京奥看信息科技有限公司 | 一种高性能视频流连续录制存储方法 |
-
2009
- 2009-12-08 CN CN200910249982A patent/CN101742263A/zh active Pending
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102547227B (zh) * | 2010-12-08 | 2016-08-17 | 中国电信股份有限公司 | 视频监控文件的传输处理方法与系统 |
| CN102547227A (zh) * | 2010-12-08 | 2012-07-04 | 中国电信股份有限公司 | 视频监控文件的传输处理方法与系统 |
| CN102695024B (zh) * | 2011-03-21 | 2015-04-01 | 鸿富锦精密工业（深圳）有限公司 | 网络视频录像机的前端录影系统及方法 |
| CN102695024A (zh) * | 2011-03-21 | 2012-09-26 | 鸿富锦精密工业（深圳）有限公司 | 网络视频录像机的前端录影系统及方法 |
| CN102541970A (zh) * | 2011-05-20 | 2012-07-04 | 广东迅通科技股份有限公司 | 音视频监控数据自动归档的方法 |
| CN103313031A (zh) * | 2012-03-09 | 2013-09-18 | 财团法人工业技术研究院 | 动态派工录影系统与方法 |
| CN102769546A (zh) * | 2012-08-01 | 2012-11-07 | 北京经纬恒润科技有限公司 | 一种报文分段保存的方法及系统 |
| CN102932622B (zh) * | 2012-11-08 | 2015-08-05 | 珠海全志科技股份有限公司 | 数字录像设备的录像方法及装置 |
| CN102932622A (zh) * | 2012-11-08 | 2013-02-13 | 珠海全志科技股份有限公司 | 数字录像设备的录像方法及装置 |
| CN105930405B (zh) * | 2013-07-12 | 2019-09-24 | 北京鑫富天恒科技有限公司 | 适于url数据抓取中对数据缓存的方法及装置 |
| CN105930405A (zh) * | 2013-07-12 | 2016-09-07 | 北京奇虎科技有限公司 | 适于url数据抓取中对数据缓存的方法及装置 |
| CN103702057A (zh) * | 2013-09-03 | 2014-04-02 | 成都竣泰科技有限公司 | 一种适应于多路并发写入流媒体数据的分块式存储算法 |
| CN103702057B (zh) * | 2013-09-03 | 2017-04-12 | 成都竣泰科技有限公司 | 一种适应于多路并发写入流媒体数据的分块式存储算法 |
| CN104811646A (zh) * | 2015-05-15 | 2015-07-29 | 电子科技大学 | 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法 |
| CN104811646B (zh) * | 2015-05-15 | 2018-07-24 | 电子科技大学 | 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法 |
| CN105451028A (zh) * | 2015-12-03 | 2016-03-30 | 深圳市泛海三江电子有限公司 | 存储服务器及其实现方法 |
| CN105451028B (zh) * | 2015-12-03 | 2019-04-02 | 深圳市泛海三江电子股份有限公司 | 存储服务器及其实现方法 |
| CN105872458A (zh) * | 2016-03-29 | 2016-08-17 | 上海斐讯数据通信技术有限公司 | 一种视频数据获取系统及方法 |
| CN107122133A (zh) * | 2017-04-24 | 2017-09-01 | 珠海全志科技股份有限公司 | 数据存储方法及装置 |
| CN107122133B (zh) * | 2017-04-24 | 2020-08-07 | 珠海全志科技股份有限公司 | 数据存储方法及装置 |
| CN110737389A (zh) * | 2018-07-19 | 2020-01-31 | 杭州海康威视系统技术有限公司 | 存储数据的方法和装置 |
| CN113986151A (zh) * | 2021-12-29 | 2022-01-28 | 南京奥看信息科技有限公司 | 一种高性能视频流连续录制存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101742263A (zh) | 一种存储视频监控录像数据的方法 | |
| US11385840B2 (en) | Multi-tiered data storage with archival blockchains | |
| US9699255B2 (en) | Device driver | |
| CN102012851B (zh) | 一种持续数据保护方法及服务器 | |
| US11593217B2 (en) | Systems and methods for managing single instancing data | |
| US7844643B2 (en) | Storage management system with integrated continuous data protection and remote copy | |
| US8661183B2 (en) | Computer system, data storage method, and program for reduction of stored data after hibernation | |
| CN103226965B (zh) | 基于时间位图的音视频数据存取方法 | |
| CN104462563A (zh) | 一种文件存储方法和系统 | |
| CN103037203B (zh) | 一种基于块存储的索引恢复方法和装置 | |
| CN102136290A (zh) | 一种嵌入式实时视频文件存储方法 | |
| WO2011123207A1 (en) | Intelligent data storage utilizing one or more records | |
| CN102750110B (zh) | 一种配置信息高可靠的磁盘阵列系统 | |
| CN111475102B (zh) | 一种基于蓝光的对象存储系统及其存储方法 | |
| CN103164528B (zh) | 一种音视频数据的索引建立方法 | |
| JP2013521588A (ja) | エンドレスメモリ | |
| CN103197987A (zh) | 一种数据备份的方法、数据恢复的方法及系统 | |
| CN114780023A (zh) | 一种数据文件的快速存取方法及装置 | |
| CN108647278B (zh) | 一种文件管理方法及系统 | |
| CN102156731B (zh) | 闪存的数据存储方法和装置 | |
| CN102541970A (zh) | 音视频监控数据自动归档的方法 | |
| CN113377296B (zh) | 车载终端NAND Flash的存储管理方法和系统、车载终端、车辆 | |
| CN112181311B (zh) | 一种循环录制方法、设备和存储介质 | |
| Lee et al. | RMSS: an efficient recovery management scheme on NAND flash memory based solid state disk | |
| US11188511B2 (en) | Offloading file-indexing to memory card firmware |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100616 |