CN106202558A - 一种高效的安防行业音视频数据存储格式及其查询方法 - Google Patents

一种高效的安防行业音视频数据存储格式及其查询方法 Download PDF

Info

Publication number
CN106202558A
CN106202558A CN201610610377.8A CN201610610377A CN106202558A CN 106202558 A CN106202558 A CN 106202558A CN 201610610377 A CN201610610377 A CN 201610610377A CN 106202558 A CN106202558 A CN 106202558A
Authority
CN
China
Prior art keywords
data
file
stream
index
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610610377.8A
Other languages
English (en)
Inventor
宋擘
曹磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Digital China Sobey Technology Co Ltd
Original Assignee
Chengdu Digital China Sobey Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Digital China Sobey Technology Co Ltd filed Critical Chengdu Digital China Sobey Technology Co Ltd
Priority to CN201610610377.8A priority Critical patent/CN106202558A/zh
Publication of CN106202558A publication Critical patent/CN106202558A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种高效的安防行业音视频数据存储格式及其查询方法，它包括文件头结构对象、数据对象、流信息对象和数据索引对象；所述的文件头结构对象属于文件的第一部分，位于文件的起始，包含文件的基本信息；所述的数据对象包含所有的流数据；所述的流信息对象包含文件中所有流数据的信息；所述的数据索引对象用于完成对数据的检索，每一个流的索引形成一个链表，用于保存对应流数据在文件的位置。采用该格式进行数据存储能够加快数据存储速度，文件在写入的过程中，二级索引会实时生成，在一级索引未完成的情况下，可直接读取二级索引，对文件进行读取，并可根据索引对帧进行精确定位。

Description

一种高效的安防行业音视频数据存储格式及其查询方法
技术领域
本发明涉及一种高效的安防行业音视频数据存储格式及其查询方法。
背景技术
文件的存储需要考虑存储的效率，在监控系统中，每时每刻都可能有大量的文件的产生。文件的大小不一，在硬盘里面可能会产生大量的小文件，随着不停的删除文件，创建文件，会在硬盘中产生大量的磁盘碎片，这些会严重影响到磁盘的读写效率。单线程写入硬盘的速度为最快，基本上能达到硬盘读写的最高实际速度。随着线程的增多，硬盘的读写的效率反而有所降低，这是因为硬盘的读写指针移动范围扩大，导致更多的时间花在寻道上面所致。所以对于前端设备来说，假设一个DVR同时有16个通道在写数据，每个通道都开一个线程写数据的并生成文件，它的效率将大大低于同时将16个通道数据写入一个文件中。磁盘的操作对写文件至关重要，合理的文件格式会有效的提高文件读写速度，并且使文件更利于使用。
发明内容
本发明的目的在于克服现有技术的不足，提供一种高效的安防行业音视频数据存储格式及其查询方法，采用该格式进行数据存储能够加快数据存储速度，文件在写入的过程中，二级索引会实时生成，在一级索引未完成的情况下，可直接读取二级索引，对文件进行读取，并可根据索引对帧进行精确定位。
本发明的目的是通过以下技术方案来实现的：一种高效的安防行业音视频数据存储格式，它包括文件头结构对象、数据对象、流信息对象和数据索引对象；
所述的文件头结构对象属于文件的第一部分，位于文件的起始，包含文件的基本信息；
所述的数据对象包含所有的流数据；
所述的流信息对象包含文件中所有流数据的信息；
所述的数据索引对象用于完成对数据的检索，每一个流的索引形成一个链表，用于保存对应流数据在文件的位置。
所述的文件头结构对象包括文件ID、文件大小、文件版本信息、文件数据流个数、保留字节的长度和保留数据。
所述的数据对象包括流数据ID、流数据大小和流数据。
所述的流信息对象包括流信息ID、所有流信息大小、本条流信息的序号、视音频编码类型、视音频持续时间、流开始写入时间、流结束时间和解码信息。
所述的数据索引对象包括数据索引ID、数据索引大小、本条流的序号、流的类型、数据包的序号、数据的时间戳、数据的帧类型、数据长度和当前数据包在文件中所处的位置。
一种高效的安防行业音视频数据存储格式的查询方法，定义n2按索引块存储每帧数据时间戳对应的文件偏移位置，n1中索引存储n2中每块索引的帧数据时间戳的起始和结束时间及对n2索引块的文件偏移位置，首先在n1中通过需要定位的时间戳查找到所属的n2的索引块的位置，再从n2中定位到最终帧的位置，定位到帧的搜索平均复杂度为（n1+n2）/2。
本发明的有益效果是：本发明提供了一种高效的安防行业音视频数据存储格式及其查询方法，采用该格式进行数据存储能够加快数据存储速度，文件在写入的过程中，二级索引会实时生成，在一级索引未完成的情况下，可直接读取二级索引，对文件进行读取，并可根据索引对帧进行精确定位。采用文件采用二级索引机制，在写入过程中发生异常后，之前写入的内容不受影响，仍然能有效正确的读取和访问。避免了因异常发生的而导致信息丢失，保证媒体文件的安全。
附图说明
图1为文件格式示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种高效的安防行业音视频数据存储格式，它包括文件头结构对象、数据对象、流信息对象和数据索引对象；
所述的文件头结构对象属于文件的第一部分，位于文件的起始，包含文件的基本信息；
所述的数据对象包含所有的流数据；
所述的流信息对象包含文件中所有流数据的信息；
所述的数据索引对象用于完成对数据的检索，每一个流的索引形成一个链表，用于保存对应流数据在文件的位置。
所述的文件头结构对象包括文件ID、文件大小、文件版本信息、文件数据流个数、保留字节的长度和保留数据。
所述的数据对象包括流数据ID、流数据大小和流数据。
所述的流信息对象包括流信息ID、所有流信息大小、本条流信息的序号、视音频编码类型、视音频持续时间、流开始写入时间、流结束时间和解码信息。流信息的写入是在文件结束时进行的，这样可以保证正在写数据的时候，可以实时添加新的流到文件，当数据写入完毕，将结束时间赋给流信息，并把流信息写在数据后面。有三种情况需要考虑：
(1) 当同一条流信息在文件中写入2次，比如一条流在写的过程中停止，过段时间后又重新写入，仍然把它们当作同一条流
(2) 若流信息发生了改变，比如改变码率或者幅面，都会将其当作一条新流写入文件
(3) 智能元数据同样作为一条流写入文件，同时在流信息里面会保存其对应的视频流和音频流信息。
所述的数据索引对象包括数据索引ID、数据索引大小、本条流的序号、流的类型、数据包的序号、数据的时间戳、数据的帧类型、数据长度和当前数据包在文件中所处的位置。
一种高效的安防行业音视频数据存储格式的查询方法，定义二级索引n2按索引块存储每帧数据时间戳对应的文件偏移位置，一级索引n1中索引存储二级索引n2中每块索引的帧数据时间戳的起始和结束时间，及对应二级索引块的文件偏移位置，若需要定位某一特定时间的帧数据，首先在n1中通过需要定位的时间戳查找到所属的n2的索引块的位置，再从n2中定位到最终帧的位置，定位到帧的搜索平均复杂度为（n1+n2）/2。举例n=100万，n1= 100，n2=10000，采用传统搜索算法的平均复杂度为50万次，而采用该技术后的平均复杂度仅为5050次，提高了100倍。

Claims (6)

1.一种高效的安防行业音视频数据存储格式，其特征在于：它包括文件头结构对象、数据对象、流信息对象和数据索引对象；
所述的文件头结构对象属于文件的第一部分，位于文件的起始，包含文件的基本信息；
所述的数据对象包含所有的流数据；
所述的流信息对象包含文件中所有流数据的信息；
所述的数据索引对象用于完成对数据的检索，每一个流的索引形成一个链表，用于保存对应流数据在文件的位置。
2.根据权利要求1所述的一种高效的安防行业音视频数据存储格式，其特征在于：所述的文件头结构对象包括文件ID、文件大小、文件版本信息、文件数据流个数、保留字节的长度和保留数据。
3.根据权利要求1所述的一种高效的安防行业音视频数据存储格式，其特征在于：所述的数据对象包括流数据ID、流数据大小和流数据。
4.根据权利要求1所述的一种高效的安防行业音视频数据存储格式，其特征在于：所述的流信息对象包括流信息ID、所有流信息大小、本条流信息的序号、视音频编码类型、视音频持续时间、流开始写入时间、流结束时间和解码信息。
5.根据权利要求1所述的一种高效的安防行业音视频数据存储格式，其特征在于：所述的数据索引对象包括数据索引ID、数据索引大小、本条流的序号、流的类型、数据包的序号、数据的时间戳、数据的帧类型、数据长度和当前数据包在文件中所处的位置。
6.如权利要求书1-5中任意一项所述的一种高效的安防行业音视频数据存储格式的查询方法，其特征在于：定义n2按索引块存储每帧数据时间戳对应的文件偏移位置，n1中索引存储n2中每块索引的帧数据时间戳的起始和结束时间及对n2索引块的文件偏移位置，首先通过在n1中通过需要定位的时间戳查找到所属的n2的索引块的位置，再从n2中定位到最终帧的位置，定位到帧的搜索平均复杂度为（n1+n2）/2。
CN201610610377.8A 2016-07-29 2016-07-29 一种高效的安防行业音视频数据存储格式及其查询方法 Pending CN106202558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610610377.8A CN106202558A (zh) 2016-07-29 2016-07-29 一种高效的安防行业音视频数据存储格式及其查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610610377.8A CN106202558A (zh) 2016-07-29 2016-07-29 一种高效的安防行业音视频数据存储格式及其查询方法

Publications (1)

Publication Number Publication Date
CN106202558A true CN106202558A (zh) 2016-12-07

Family

ID=57497344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610610377.8A Pending CN106202558A (zh) 2016-07-29 2016-07-29 一种高效的安防行业音视频数据存储格式及其查询方法

Country Status (1)

Country Link
CN (1) CN106202558A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905122A (zh) * 2023-02-20 2023-04-04 成都九洲电子信息系统股份有限公司 一种飞行航迹数据存储及检索系统、方法及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096698A (zh) * 2010-12-14 2011-06-15 青岛海信网络科技股份有限公司 一种视频数据存储格式、存储方法及检索方法
CN102231827A (zh) * 2011-03-14 2011-11-02 新奥特（北京）视频技术有限公司 一种支持ps流媒体文件直接帧精确定位的索引方法
CN102231826A (zh) * 2011-03-14 2011-11-02 新奥特（北京）视频技术有限公司 一种支持ts流媒体文件帧精确定位的索引方法及系统
CN102231860A (zh) * 2011-06-03 2011-11-02 南京远古科技有限公司 一种直播时移数据存储方法
CN102682016A (zh) * 2011-03-15 2012-09-19 新奥特（北京）视频技术有限公司 一种支持mov/3gp/mp4文件的索引系统及方法
CN102891997A (zh) * 2011-07-20 2013-01-23 深圳市快播科技有限公司 用于快速播放的音视频多媒体文件格式、播放方法及装置
CN103279511A (zh) * 2013-05-16 2013-09-04 杭州巨峰科技有限公司 一种安防视频监控设备专用的文件系统
CN105094705A (zh) * 2015-07-27 2015-11-25 武汉兴图新科电子股份有限公司 一种优化磁盘存储策略的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096698A (zh) * 2010-12-14 2011-06-15 青岛海信网络科技股份有限公司 一种视频数据存储格式、存储方法及检索方法
CN102231827A (zh) * 2011-03-14 2011-11-02 新奥特（北京）视频技术有限公司 一种支持ps流媒体文件直接帧精确定位的索引方法
CN102231826A (zh) * 2011-03-14 2011-11-02 新奥特（北京）视频技术有限公司 一种支持ts流媒体文件帧精确定位的索引方法及系统
CN102682016A (zh) * 2011-03-15 2012-09-19 新奥特（北京）视频技术有限公司 一种支持mov/3gp/mp4文件的索引系统及方法
CN102231860A (zh) * 2011-06-03 2011-11-02 南京远古科技有限公司 一种直播时移数据存储方法
CN102891997A (zh) * 2011-07-20 2013-01-23 深圳市快播科技有限公司 用于快速播放的音视频多媒体文件格式、播放方法及装置
CN103279511A (zh) * 2013-05-16 2013-09-04 杭州巨峰科技有限公司 一种安防视频监控设备专用的文件系统
CN105094705A (zh) * 2015-07-27 2015-11-25 武汉兴图新科电子股份有限公司 一种优化磁盘存储策略的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905122A (zh) * 2023-02-20 2023-04-04 成都九洲电子信息系统股份有限公司 一种飞行航迹数据存储及检索系统、方法及存储介质

Similar Documents

Publication Publication Date Title
US10255235B2 (en) Database storage system based on jukebox and method using the system
US8225029B2 (en) Data storage processing method, data searching method and devices thereof
CN103226965B (zh) 基于时间位图的音视频数据存取方法
US20150193473A1 (en) Database Storage System based on Optical Disk and Method Using the System
US8862856B2 (en) Implementing remapping command with indirection update for indirected storage
CN107168651A (zh) 一种小文件聚合存储处理方法
CN107958079A (zh) 聚合文件删除方法、系统、装置及可读存储介质
CN102999433A (zh) 一种虚拟磁盘的冗余数据删除方法及系统
CN104050057B (zh) 一种历史感知的数据去重碎片消除方法与系统
CN102541982B (zh) 一种组织和访问元数据文件日志的方法
CN102722450B (zh) 一种基于位置敏感哈希的删冗块设备存储方法
CN106202558A (zh) 一种高效的安防行业音视频数据存储格式及其查询方法
CN100543748C (zh) 一种利用文件分配表进行文件寻道的方法及系统
CN108052644B (zh) 数据模式日志文件系统的数据写入方法及系统
CN106055643A (zh) Mxf文件写入中断的续写方法
CN102609371A (zh) 基于数据安全的系统保护方法
CN106293518A (zh) 一种高效的安防行业媒体数据存储文件系统
CN104166524A (zh) 一种元数据和数据的处理方法
CN105260130A (zh) 一种希捷硬盘系统文件的读写方法
CN105515586A (zh) 一种快速差量压缩方法
KR101370503B1 (ko) 멀티미디어 데이터 저장시스템 및 그 저장방법과 그 저장방법으로 수행되는 프로그램이 기록된 컴퓨터 판독 가능 저장매체
KR101338566B1 (ko) 저장 장치에 대한 입출력 특성 분류 장치 및 방법
CN113655957B (zh) 一种针对低队列深度的预读方法
TWI470454B (zh) 檔案格式轉換方法
CN104469234A (zh) 一种数字视频数据的硬盘存储方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161207

RJ01 Rejection of invention patent application after publication