CN103164528A - 一种音视频数据的索引建立方法 - Google Patents

一种音视频数据的索引建立方法 Download PDF

Info

Publication number
CN103164528A
CN103164528A CN2013101062091A CN201310106209A CN103164528A CN 103164528 A CN103164528 A CN 103164528A CN 2013101062091 A CN2013101062091 A CN 2013101062091A CN 201310106209 A CN201310106209 A CN 201310106209A CN 103164528 A CN103164528 A CN 103164528A
Authority
CN
China
Prior art keywords
index
audio
block
data
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101062091A
Other languages
English (en)
Other versions
CN103164528B (zh
Inventor
赵健军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU TEKNICE VIDEO TECHNOLOGY Co Ltd
Original Assignee
SUZHOU TEKNICE VIDEO TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU TEKNICE VIDEO TECHNOLOGY Co Ltd filed Critical SUZHOU TEKNICE VIDEO TECHNOLOGY Co Ltd
Priority to CN201310106209.1A priority Critical patent/CN103164528B/zh
Publication of CN103164528A publication Critical patent/CN103164528A/zh
Application granted granted Critical
Publication of CN103164528B publication Critical patent/CN103164528B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明公开了一种音视频数据的索引建立方法，包括以下步骤：预先将磁盘空间划分为索引区和数据区，所述索引区用于存放录像段信息和磁盘区域索引，所述数据区分为若干个数据区块，并为每个数据区块分配序号；然后进行索引的建立和磁盘空间的回收过程。本发明具有索引层次简单、索引操作为原子操作、空间回收简单和无空间碎片的特点，在异常断电时不会造成已保存数据丢失，同时数据操作具有很强的局部性，有利于提高数据读取效率，延长磁盘使用寿命，同时本发明中的方法有很高的可靠性、稳定性和高性能。

Description

一种音视频数据的索引建立方法
技术领域
本发明涉及视频监控及数据存储技术领域，具体涉及一种音视频数据的索引建立方法。
背景技术
为保存音视频录像，视频监控系统与PC机一样，也存在硬盘文件系统。视频监控系统的硬盘文件系统可分为两类，一是与PC机相同的通用文件系统，第二种是专门开发的，适合专用存储目的的专用文件系统。
在视频监控系统中，音视频数据以录像段的形式保存。音视频录像时，根据录像时间的长短产生不同大小的录像段。如按布防计划（布防时间可以为几分钟到几天，也可能全天候）录像时，会产生数据量很大的录像段（几GB到数十GB，甚至上TB）；当因告警触发的音视频录像时（告警时间可以为几秒或者几分钟），通常产生较小的录像段（几百KB到数百MB）。
在视频监控系统中，单个摄像头所分配的磁盘空间大小通常是固定的，但却需要持续不间断录像，因此当磁盘空间录满时，就需要回收磁盘空间。另外，在室外的视频监控系统中，监控设备易受天气等外部环境影响，监控设备时常会被突然断电。在突然断电时，磁盘上已保存音视频数据必须不能丢失，数据仍要保持一致性。
视频监控系统中如果采用PC机所使用的通用文件系统，需要将一段录像段保存为一个文件。空间回收只能回收整个文件，无法有效地回收一个文件部分最老的数据。当录像时间很长，如一个星期，在回收录像段所对应的文件后，整个星期的录像数据均被回收，这是视频监控领域所不能接受的。另外大文件和小文件混合保存，在空间过程中，会产生大量的碎片空间，影响磁盘的使用效率，严重时还会降低系统的性能。在文件写入过程中突然断电，文件系统极易处于不一致的状态，导致文件无法打开，甚至整个文件都有可能无法正常使用，造成已保存录像段全部丢失。
专门研发的专用文件系统可以，有效地解决PC机所使用文件系统在视频监控系统的不足，同时针对视频监控系统中音视频数据存储的特点，优化数据索引，提高数据存储的可靠性、稳定性和读写效率。
专用文件系统中，为了有效的读取音视频数据，也存在类似于PC机上文件系统中文件索引的音视频数据索引。音视频数据的索引也存在很多种，如基于时间的索引，基于录像段的索引等，也有可直接索引到单个数据块的索引和索引多个连续数据块的索引。
发明内容
本发明提供了一种音视频数据的索引建立方法，使用简单的一级索引，磁盘区域索引直接索引若干连续的数据区块，在音视频数据出现记录中断时，仅丢失区块缓冲区中的数据，能够保证已写入的音视频数据处于一致性状态。
一种音视频数据的索引建立方法，包括以下步骤：预先将磁盘空间划分为索引区和数据区，所述索引区用于存放录像段信息和磁盘区域索引，所述数据区分为若干个数据区块，并为每个数据区块分配序号；
索引的建立过程包括以下步骤：
a、写入第一帧音视频数据前，生成录像段信息，同时分配磁盘区域索引，该磁盘区域索引指向第一个数据区块；录像段信息包括录像段的开始时间和结束时间，写入第一帧音视频数据之前，生成录像段信息中的开始时间和结束时间；磁盘区域索引指向第一个数据区块之后，其余的数据区块依据序号即可依次确定位置，一个磁盘区域索引对应一系列连续的数据区块；
b、关联步骤a中的录像段信息和磁盘区索引，并将录像段信息和磁盘区域索引均写入索引缓存区；
c、将第一帧音视频数据写入区块缓冲区；在区块缓冲区中写入音视频数据时，将音视频数据组装成若干个数据块，每个数据块中包含若干数据包；
d、当区块缓冲区空间不足时，将区块缓冲区中的音视频数据写入对应的数据区块中，然后申请一个新的数据区块，同时，更新索引缓存区中录像段信息对应的磁盘区域索引中数据区块的数量；
区块缓冲区空间不足包括区块缓冲区已满或者区块缓冲区没有足够空间保存一个完整的数据包；
e、每隔固定时间段，将索引缓存区中的录像段信息和磁盘区域索引写入索引区；固定时间段的时长可以依据需要进行设定，一般可选择固定时间段的时长为5～10min。
f、最后一帧音视频数据写入数据区块后，更新录像段结束时间，将索引缓存区中的录像段信息和磁盘区域索引写入索引区；写入第一帧音视频数据前，生成录像段的开始时间和结束时间，将最后一帧音视频数据写入数据区块后，记录录像段的结束时间，并将之前生成的结束时间，更新为该结束时间；
g、需要回收磁盘空间时，将写入时间最早的录像段信息对应的磁盘区域索引中数据区块的开始位置指向位于其后的数据区块，同时减小磁盘区域索引中数据区块的数量；
一个磁盘区域索引对应若干连续的数据区块，存储音视频数据时，依据音视频数据的存储时间依次在连续的数据区块中存储音视频数据，需要回收磁盘空间时，首先将磁盘区域索引中数据区块的开始位置指向位于其后的数据区块，例如，磁盘区域索引中开始的数据区块的序号为5，则位于其后的数据区块的序号为6，经磁盘区域索引的起始数据区块位置由5变为6。
h、当磁盘区域索引中数据区块的数量为0时，删除索引区中的录像段信息和磁盘区域索引。
所述索引区中还存放有录像段信息的数量以及录像段信息的有效位置、磁盘区域索引的数量以及磁盘区域索引的有效位置、数据区块的大小等信息。
需要读取音视频数据时，首先查找读取满足条件的索引区中的录像段信息，然后依据该录像段信息输出相应的音视频数据。
本发明对磁盘空间使用简单的一级索引，磁盘区域索引直接索引若干连续的数据区块，索引层次简单，索引操作为均原子操作，空间回收简单，无空间碎片，在异常断电时不会造成已保存数据丢失。
本发明在存储音视频数据时，只在录像结束或连续写入一定数量的数据区块后，才需要更新索引，而且将数据区块写入磁盘空间中连续的位置，具有良好的局部性，同时，数据读取效率高，磁盘使用寿命长，同时具有很高的可靠性、稳定性和高性能。
附图说明
图1为本发明一种音视频数据的索引建立方法的流程图；
图2为本发明建立的音视频数据索引的层次结构示意图。
具体实施方式
下面结合附图，对本发明一种音视频数据的索引建立方法做详细描述。
如图1所示，一种音视频数据的索引建立方法，包括以下步骤：预先将磁盘空间划分为索引区和数据区，索引区用于存放录像段信息和磁盘区域索引，数据区分为若干个数据区块，并为每个数据区块分配序号；如图2所示，一个录像段信息对应一个磁盘区域索引，一个磁盘区域索引对应一系列连续的数据区块。
索引的建立过程包括以下步骤：
a、写入第一帧音视频数据前，生成录像段信息，同时分配磁盘区域索引，该磁盘区域索引指向第一个数据区块；录像段信息包括录像段的开始时间和结束时间，写入第一帧音视频数据之前，首先生成录像段信息中的开始时间；磁盘区域索引指向第一个数据区块之后，其余的数据区块即可依次确定位置；
b、关联步骤a中的录像段信息和磁盘区索引，并将录像段信息和磁盘区域索引均写入索引缓存区；
c、将第一帧音视频数据写入区块缓冲区；在区块缓冲区中写入音视频数据时，将音视频数据组装成若干个数据块，每个数据块中包含若干数据包；
d、当区块缓冲区空间不足时，将区块缓冲区中的音视频数据写入对应的数据区块中，然后申请一个新的数据区块，同时，更新索引缓存区中录像段信息对应的磁盘区域索引中数据区块的数量；
区块缓冲区空间不足包括区块缓冲区已满或者区块缓冲区没有足够空间保存一个完整的数据包；
e、每隔固定时间段，将索引缓存区中的录像段信息和磁盘区域索引写入索引区；固定时间段的时长可以依据需要进行设定，一般可选择固定时间段的时长为5～10min。固定时间段越短，则出现故障时，丢失的数据量越少，优选地，所述固定时间段的时长为5min。
f、最后一帧音视频数据写入数据区块后，更新录像段结束时间，将索引缓存区中的录像段信息和磁盘区域索引写入索引区；
g、需要回收磁盘空间时，将写入时间最早的录像段信息对应的磁盘区域索引中数据区块的开始位置指向位于其后的数据区块，同时减小磁盘区域索引中数据区块的数量；
h、当磁盘区域索引中数据区块的数量为0时，删除索引区中的录像段信息和磁盘区域索引。
索引区中还存放有录像段信息的数量以及录像段信息的有效位置、磁盘区域索引的数量以及磁盘区域索引的有效位置、数据区块的大小等信息。
需要读取音视频数据时，首先查找读取满足条件的索引区中的录像段信息，然后依据该录像段信息输出相应的音视频数据。

Claims (8)

1.一种音视频数据的索引建立方法，其特征在于，包括以下步骤：预先将磁盘空间划分为索引区和数据区，所述索引区用于存放录像段信息和磁盘区域索引，所述数据区分为若干个数据区块，并为每个数据区块分配序号；索引的建立过程包括以下步骤：
a、写入第一帧音视频数据前，生成录像段信息，同时分配磁盘区域索引，该磁盘区域索引指向第一个数据区块；
b、关联步骤a中的录像段信息和磁盘区索引，并将录像段信息和磁盘区域索引均写入索引缓存区；
c、将第一帧音视频数据写入区块缓冲区；
d、当区块缓冲区空间不足时，将区块缓冲区中的音视频数据写入对应的数据区块中，然后申请一个新的数据区块，同时，更新索引缓存区中录像段信息对应的磁盘区域索引中数据区块的数量；
e、每隔固定时间段，将索引缓存区中的录像段信息和磁盘区域索引写入索引区；
f、最后一帧音视频数据写入数据区块后，更新录像段结束时间，将索引缓存区中的录像段信息和磁盘区域索引写入索引区；
g、需要回收磁盘空间时，将写入时间最早的录像段信息对应的磁盘区域索引中数据区块的开始位置指向位于其后的数据区块，同时减小磁盘区域索引中数据区块的数量；
h、当磁盘区域索引中数据区块的数量为0时，删除索引区中的录像段信息和磁盘区域索引。
2.如权利要求1所述的音视频数据的索引建立方法，其特征在于，在区块缓冲区中写入音视频数据时，将音视频数据组装成若干个数据块，每个数据块中包含若干数据包。
3.如权利要求1所述的音视频数据的索引建立方法，其特征在于，所述步骤d中的区块缓冲区空间不足包括区块缓冲区已满或者区块缓冲区没有足够空间保存一个完整的数据包。
4.如权利要求1所述的音视频数据的索引建立方法，其特征在于，所述固定时间段的时长为5～10min。
5.如权利要求4所述的音视频数据的索引建立方法，其特征在于，所述固定时间段的时长为5min。
6.如权利要求1所述的音视频数据的索引建立方法，其特征在于，所述索引区中还存放有录像段信息的数量以及录像段信息的有效位置。
7.如权利要求1所述的音视频数据的索引建立方法，其特征在于，所述索引区中还存放有磁盘区域索引的数量。
8.如权利要求1所述的音视频数据的索引建立方法，其特征在于，所述索引区中还存放有磁盘区域索引的有效位置。
CN201310106209.1A 2013-03-29 2013-03-29 一种音视频数据的索引建立方法 Expired - Fee Related CN103164528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310106209.1A CN103164528B (zh) 2013-03-29 2013-03-29 一种音视频数据的索引建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310106209.1A CN103164528B (zh) 2013-03-29 2013-03-29 一种音视频数据的索引建立方法

Publications (2)

Publication Number Publication Date
CN103164528A true CN103164528A (zh) 2013-06-19
CN103164528B CN103164528B (zh) 2016-02-24

Family

ID=48587616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310106209.1A Expired - Fee Related CN103164528B (zh) 2013-03-29 2013-03-29 一种音视频数据的索引建立方法

Country Status (1)

Country Link
CN (1) CN103164528B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581626A (zh) * 2013-11-04 2014-02-12 浙江宇视科技有限公司 一种视频监控系统及其视频存储信息记录方法
CN103745007A (zh) * 2014-01-24 2014-04-23 深圳市华宝电子科技有限公司 一种文件管理方法及装置
CN104750698A (zh) * 2013-12-27 2015-07-01 三亚中兴软件有限责任公司 一种监控录像定位查找方法及系统
CN105049769A (zh) * 2015-08-26 2015-11-11 浙江宇视科技有限公司 一种iSCSI块直存支持录像空间变更的方法和装置
CN105446652A (zh) * 2014-08-08 2016-03-30 杭州海康威视数字技术股份有限公司 进行摄像数据存储的方法及装置
CN106951183A (zh) * 2017-02-27 2017-07-14 南京杰迈视讯科技有限公司 一种高效可靠的网络摄像机数据存储方法
CN112463733A (zh) * 2020-08-21 2021-03-09 海信视像科技股份有限公司 一种保护硬盘数据的方法及显示设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1243596A (zh) * 1997-09-17 2000-02-02 松下电器产业株式会社 光盘、视频数据编辑设备、用于存储计算机可读的编辑程序的记录媒体、光盘的重放设备和存储计算机可读的重放程序的记录媒体
CN101008919A (zh) * 2007-01-31 2007-08-01 浙江大学 基于裸设备的音视频数据存取方法和装置
CN102136290A (zh) * 2011-04-21 2011-07-27 北京联合大学 一种嵌入式实时视频文件存储方法
CN102623033A (zh) * 2011-01-31 2012-08-01 苏州科达科技有限公司 一种基于快速视频数据存储的文件系统的控制方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1243596A (zh) * 1997-09-17 2000-02-02 松下电器产业株式会社 光盘、视频数据编辑设备、用于存储计算机可读的编辑程序的记录媒体、光盘的重放设备和存储计算机可读的重放程序的记录媒体
CN101008919A (zh) * 2007-01-31 2007-08-01 浙江大学 基于裸设备的音视频数据存取方法和装置
CN102623033A (zh) * 2011-01-31 2012-08-01 苏州科达科技有限公司 一种基于快速视频数据存储的文件系统的控制方法及装置
CN102136290A (zh) * 2011-04-21 2011-07-27 北京联合大学 一种嵌入式实时视频文件存储方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581626A (zh) * 2013-11-04 2014-02-12 浙江宇视科技有限公司 一种视频监控系统及其视频存储信息记录方法
CN104750698A (zh) * 2013-12-27 2015-07-01 三亚中兴软件有限责任公司 一种监控录像定位查找方法及系统
CN103745007A (zh) * 2014-01-24 2014-04-23 深圳市华宝电子科技有限公司 一种文件管理方法及装置
CN105446652A (zh) * 2014-08-08 2016-03-30 杭州海康威视数字技术股份有限公司 进行摄像数据存储的方法及装置
CN105446652B (zh) * 2014-08-08 2019-02-05 杭州海康威视数字技术股份有限公司 进行摄像数据存储的方法及装置
CN105049769A (zh) * 2015-08-26 2015-11-11 浙江宇视科技有限公司 一种iSCSI块直存支持录像空间变更的方法和装置
CN105049769B (zh) * 2015-08-26 2018-06-05 浙江宇视科技有限公司 一种iSCSI块直存支持录像空间变更的方法和装置
CN106951183A (zh) * 2017-02-27 2017-07-14 南京杰迈视讯科技有限公司 一种高效可靠的网络摄像机数据存储方法
CN112463733A (zh) * 2020-08-21 2021-03-09 海信视像科技股份有限公司 一种保护硬盘数据的方法及显示设备

Also Published As

Publication number Publication date
CN103164528B (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
CN103164528B (zh) 一种音视频数据的索引建立方法
CN103226965B (zh) 基于时间位图的音视频数据存取方法
CN100578470C (zh) 基于裸设备的音视频数据存取方法和装置
CN105404469B (zh) 一种视频数据的存储方法和系统
US8612707B2 (en) Continuous data protection over intermittent connections, such as continuous data backup for laptops or wireless devices
CN102955720B (zh) 一种提高ext文件系统稳定性的方法
CN102136290A (zh) 一种嵌入式实时视频文件存储方法
CN102033786B (zh) 一种对象存储系统中修复副本一致性的方法
CN103761165B (zh) 日志备份方法及装置
US8578112B2 (en) Data management system and data management method
CN104462563A (zh) 一种文件存储方法和系统
CN104063187B (zh) 适用于安防应用的硬盘文件系统及其运行方法
CN102999442B (zh) 面向媒体应用的存储系统及方法
CN110727406B (zh) 一种数据存储调度方法及装置
CN104750859A (zh) 一种网络存储方法
US20100174878A1 (en) Systems and Methods for Monitoring Archive Storage Condition and Preventing the Loss of Archived Data
CN107066349A (zh) 一种集群文件系统数据保护的方法及系统
CN105100716A (zh) 一种用于网络视频监控的安全存储单元及其系统
CN103713973A (zh) 一种基于hdd和ssd的混合存储备份方法及系统
CN105068761B (zh) 一种便于检索的视频截图存储方法和系统
CN104391802A (zh) 一种精简池元数据节点刷新一致性保护方法
CN105975401A (zh) 车载磁盘顺序写入及快捷恢复的系统及方法
CN107037988A (zh) 一种基于文件级粒度的闪存安全删除方法及系统
CN111475102A (zh) 一种基于蓝光的对象存储系统及其存储方法
CN105095502A (zh) 一种集群存储系统的日志收集方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160224

Termination date: 20210329