CN102543108A - 基于分布式存储的视频冗余策略优化方法 - Google Patents
基于分布式存储的视频冗余策略优化方法 Download PDFInfo
- Publication number
- CN102543108A CN102543108A CN2011102351437A CN201110235143A CN102543108A CN 102543108 A CN102543108 A CN 102543108A CN 2011102351437 A CN2011102351437 A CN 2011102351437A CN 201110235143 A CN201110235143 A CN 201110235143A CN 102543108 A CN102543108 A CN 102543108A
- Authority
- CN
- China
- Prior art keywords
- video
- storage
- distributed storage
- distributed
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种基于分布式存储的视频冗余策略优化方法,在不减少冗余数量的基础上,减少了数据存储量,降低了存储成本,提高了存储效率,在保证视频回放,检索,取证等操作的可靠性的基础上,满足了业务系统主体功能需要的视频清晰度。进一步的,在上述基础上,本发明公开了一种视频分布式存储系统,所公开的分布式存储系统具有成本低、效率高的优势,同时保证了足够的冗余数量。
Description
技术领域
本发明涉及一种视频冗余策略优化方法,尤其涉及一种基于分布式存储的视频冗余策略优化方法,属于计算机存储技术领域。
背景技术
随着社会经济的发展,人们对安全防护的要求越来越高。视频监控作为安全防护领域中的主要手段,具有实时性、可视性,越来越受到重视,在机场、车站、仓库、银行、娱乐中心、购物中心等被广泛使用。
传统的视频监控系统主要包括视频采集、数据存储等过程,其工作原理是利用摄像头、摄像机等获得视频,然后将其存储在存储装置上以供回放。其存储方式通常有两种,一是将视频存储在专用存储服务器上,二是将视频直接存储在诸如视频录像机等内置的硬盘中。
随着所获得视频时间越来越长,所获得视频的容量会越来越高,所需要的存储容量越来越大,存储容量的需求呈线性的、爆炸性的增长。因此视频存储系统必须支持大容量,且容量具有高扩展性,满足长时间大容量视频图像存储的需求。因此近些年出现的视频存储越来越多采用分布式存储方式来适应以上各项要求。
分布式存储的一大特点就是采用冗余存储的方式来保证存储数据的可靠性,也就是说采用同一份数据存储多个副本的方式,以提高数据存储的可靠性、可用性。但是已有的分布式存储其冗余策略未考虑相关的优化工作,使得数据存储量巨大,相应存储成本很高。由于存储的视频数据巨大,导致其存储的视频索引、查找、回放的效率都很低。
同时现有分布式存储冗余方法是对原始数据做多个备份后进行存储,导致本来就已经海量的视频数据存多个备份,要求数倍于原始数据的存储容量,也就是说有多少个备份就要求多少倍的存储容量。由此造成过高的存储成本投入和过大的存储管理、维护难度。
发明内容
针对现有技术的缺陷,本发明公开了一种基于分布式存储的视频冗余策略优化方法,在不减少冗余数量的基础上,相对于已有的视频分布式存储显著减少了数据存储量,降低了存储成本,提高了存储效率,在保证视频回放,检索,取证等操作的可靠性的基础上,满足了业务系统主体功能需要的视频清晰度。
为实现上述发明目的,本发明是通过下述技术方案实现的:
基于分布式存储的视频冗余策略优化方法,包括下述步骤:
(1)从视频信息源接收原始视频;
(2)将原始视频直接进行单份分布式存储;
(3)将原始视频在满足应用目的的基础上进行容量压缩;
(4)容量压缩后的视频按照冗余数量要求进行多备份分布式存储。
在所述步骤(1)中,视频信息源可以是任何能够提供视频的装置,本发明并不限制视频信息源的类型,其可以选自但不限于数码相机、录像机、摄像机、摄像头中的一种或多种。在分级存储的情况下,所述的视频信息源还可以是上一级存储视频的存储系统,采用本发明所述的基于分布式存储的视频冗余策略优化方法对其视频进行存储优化。
在所述步骤(2)中,将步骤(1)所接收的原始视频在分布式存储上存储单份,其所用的分布式存储的存储单元可以选自任何能够用于存储数据的存储设备。包括但不限于机械硬盘、固态硬盘、磁带机、服务器,所述存储单元还可以是基于网络的虚拟存储单元,所述的基于网络的虚拟存储单元是近些年新兴起的一种存储方式,又称为云存储或云端存储、云端空间等,由一个存储服务商或存储数据中心将其巨大的存储资源划分为若干个虚拟的存储单元,然后出售给有存储计算需求的单位使用。显然可以理解,步骤(2)中的分布式存储也可以基于此种存储单元,只要有合理的访问和传输速度,例如通过光纤、专线接入等,即可以将这些虚拟存储单元组织起来构成一个分布式存储结构。
在所述步骤(3)中,将原始视频进行容量压缩的方法并不受到特别限制,任何本领域可用的视频压缩方法均可以用于本发明。此类方法包括但不限于格式压缩、转换为低清晰度视频、转换为低帧速视频、帧抽样。具体的说,格式压缩可以是将原始的视频文件例如avi(如本领域技术人员所知,通常的视频设备记录的原始视频为avi格式)压制成H264、divx、wmv、vp8等编码格式的文件,由于此类编码通常使用了前后自适应编码、运动补偿的帧间预测、多重参照帧、微块分割等新的编码技术,因此能够在几乎不降低原始视频质量的前提下显著减小原始视频的体积;转换为低清晰度视频可以是对高清视频的分辨率进行压缩,生成压缩比较大且码率较低的压缩视频数据,在原始数据丢失的时候,也可以通过清晰度稍低的压缩视频大致还原当时的视频场景;转换为低帧速视频可以是高帧速的视频转化为低帧速的视频,例如每秒60帧转换为每秒30/24/28帧;还可以是将原始视频进行帧抽样,即对于高清视频,采取抽样的方式,例如每20帧抽取一帧或两帧,生成抽样视频数据。这样在原始数据丢失的时候,也可以通过抽样视频大致还原当时的视频场景。
为了提高效率,优选的,步骤(2)和步骤(3)是同时进行的。
在所述步骤(4)中,将步骤(3)中容量压缩后的视频按照冗余备份的要求备份至分布式存储上。所述的冗余备份通常是多份,然而本领域技术人员可以理解,单备份也是可行的。与步骤(2)类似,步骤(4)的分布式存储的存储单元选自机械硬盘、固态硬盘、磁带机、服务器或基于网络的虚拟存储单元。步骤(2)或(4)可以是相同的分布式存储,也可以是不同的分布式存储。
进一步的,为了确保分布式存储上的视频的可用性,本发明的方法还包括还包括对原始视频和分布式存储系统上存储的视频进行索引、校验的步骤。通过对视频建立索引信息,可以在回放时有效提高视频的检索速度。索引的方法并不受到特别限制,例如可以是将视频加上时间戳、将视频加上地点戳等,方便事后使用时按照时间、地点等进行分类管理查找;所述校验的步骤用于确保分布式存储上的同一视频多个备份的一致性,任何可用的用于校验文件的方法均可使用,例如核对CRC、MD5等文件信息。
本发明的冗余策略优化方法,同时对原始视频数据和降低容量体积后的视频数据进行分布式存储,其中降低容量体积后的视频数据进行了多冗余备份,在满足应用目的的基础上保证了视频数据的可靠性、可用性,存储效率得到大幅提高,存储容量、空间及成本得到大幅降低,备份时间会降低,并且也减小了对于存储维护管理的难度。
需要注意的是,本发明所述的冗余策略优化方法并不限制所用分布式存储的具体组成方式,根据本发明原理可知,任何已有的分布式存储架构对于本发明均是可用的,例如可以是基于对等结构的无中心分布式存储、分级分布式存储等。
本领域技术人员可以理解,作为本发明方法的一个等同变换,对于视频抽样或压缩,可以在上层的视频系统中进行处理,和原始文件一起传给后端的分布式存储,也可以在通过网络传到后端分布式存储系统由相应的应用程序或分布式存储本身做视频抽样或压缩的处理工作。此种处理方式是本领域技术人员根据本发明的实质精神容易想到的,属于本发明的保护范围。
进一步的,基于本发明的冗余策略优化方法,本发明还公开了一种视频分布式存储系统,包括视频信息源、视频压缩单元、原始视频分布式存储系统、压缩视频分布式存储系统,所述视频信息源用于收集原始视频;所述视频压缩单元用于压缩从视频信息源中获得的视频;所述原始视频分布式存储系统用于将原始视频直接进行单份分布式存储;所述压缩视频分布式存储系统用于将原始视频容量压缩后所得的压缩视频按照冗余数量要求进行多备份分布式存储。
在上述的视频分布式存储系统中,所述的视频信息源可以是数码相机、录像机、摄像机、摄像头中的一种或多种;考虑到分布式存储系统多级连接的应用,所述的视频信息源还可以是上一级的存储视频的存储节点。在此种情形下,组成了一个多层级的视频存储系统。
在上述的视频分布式存储系统中,所述的分布式存储其存储单元选自机械硬盘、固态硬盘、磁带机、服务器或基于网络的虚拟存储单元。
在上述的视频分布式存储系统中,原始视频分布式存储系统、压缩视频分布式存储系统分别用于存储原始视频和容量压缩后的视频,分布式存储系统的架构并不受到限制,任何已有的分布式存储架构均是可用的,例如可以是基于对等结构的无中心分布式存储系统、分级分布式存储系统等。
在上述的视频分布式存储系统中,进一步的还包括视频信息处理单元,所述视频信息处理单元用于为分布式存储上的原始视频和压缩视频建立索引,并对分布式存储上的原始视频和压缩视频进行校验使其同步。可以理解,所述视频信息处理单元可以是PC、服务器、计算集群等任何可用的计算设备。
在上述的视频分布式存储系统中,进一步的还连接有视频回放单元,用于回放存储的视频。所述的视频回放单元是具有显示功能的设备,例如电视机、电脑显示器、监视器等。
上述的视频分布式存储系统,同时存储原始视频数据和降低体积容量后的视频数据,在满足应用目的的基础上保证了视频数据的可靠性、可用性,存储效率得到大幅提高,存储容量、空间及成本得到大幅降低。进一步的,通过加入视频信息处理单元、视频回放单元,本发明的视频分布式存储系统易于检索、回访,视频存储的可靠性高。
附图说明
图1为本发明的基于分布式存储的视频冗余策略优化方法原理流程图;
图2为分布式存储架构图;
图3为本发明的视频分布式存储系统结构示意图。
具体实施方式
下述实施例仅作为本发明所述的技术方案的具体实施,本发明并非仅限于采用上述实施例,本领域技术人员在领会本发明实质精神的基础上,所进行的等同变换和改进依旧属于本发明保护范围,本发明的保护范围限于所附权利要求及其等同变换。
参考附图1,公开了本发明的基于分布式存储的视频冗余策略优化方法,包括下述步骤:
(1)从视频信息源接收原始视频;
(2)将原始视频直接进行单份分布式存储;
(3)将原始视频在满足应用目的的基础上进行容量压缩;
(4)容量压缩后的视频按照冗余数量要求进行多备份分布式存储。
参考附图2,具体的公开了本发明的基于分布式存储的视频冗余策略优化方法的一个实现架构,从视频信息源获取原始视频,经由网络将原始视频传到分布式存储上。其中还包括将原始视频进行压缩的步骤(图中未示出)。
参考图3,公开了本发明的视频分布式存储系统结构,包括视频信息源、视频压缩单元、原始视频分布式存储系统、压缩视频分布式存储系统,进一步的包括视频信息处理单元和视频回放单元。
举例而言,传统的存储方法100G的视频数据,如果需要存3个冗余,则需要存3*100G存储;
采用本发明基于分布式存储的视频冗余策略优化方法后,根据应用目的转换为可容忍的容量更小图像质量略低的视频,比如将100G转换为20G的视频数据,那么需要的存储量:
如果低质量视频需要2个冗余,则为100G+2*20G=140G
如果低质量视频需要3个冗余,则为100G+3*20G=160G
由此可见,所需存储空间大大减少,从而后期的存储成本将大幅度下降。
Claims (10)
1.基于分布式存储的视频冗余策略优化方法,包括下述步骤:
(1)从视频信息源接收原始视频;
(2)将原始视频直接进行单份分布式存储;
(3)将原始视频在满足应用目的的基础上进行容量压缩;
(4)容量压缩后的视频按照冗余数量要求进行多备份分布式存储。
2.根据权利要求1所述的方法,所述视频信息源为具有影像录制功能的装置,包括数码相机、录像机、摄像机、摄像头、上一级存储视频的存储系统中的一种或多种。
3.根据权利要求1所述的方法,所述步骤(3)的容量压缩的方法包括原始视频格式压缩、转换为低清晰度视频、转换为低帧速视频、帧抽样。
4.根据权利要求1所述的方法,所述步骤(2)和步骤(3)同时进行。
5.根据权利要求1所述的方法,步骤(2)、(4)的分布式存储的存储单元选自机械硬盘、固态硬盘、磁带机、服务器或基于网络的虚拟存储单元。
6.根据权利要求1所述的方法,进一步的还包括对原始视频和分布式存储系统上存储的视频进行索引、校验的步骤。
7.一种视频分布式存储系统,包括视频信息源、视频压缩单元、原始视频分布式存储系统、压缩视频分布式存储系统,所述视频信息源用于收集原始视频;所述视频压缩单元用于压缩从视频信息源中获得的视频;所述原始视频分布式存储系统用于将原始视频直接进行单份分布式存储;所述压缩视频分布式存储系统用于将原始视频容量压缩后所得的压缩视频按照冗余数量要求进行多备份分布式存储。
8.根据权利要求7所述的系统,所述视频信息源包括数码相机、录像机、摄像机、摄像头、上一级的存储视频的存储节点中的一种或多种;所述的分布式存储其存储单元选自机械硬盘、固态硬盘、磁带机、服务器或基于网络的虚拟存储单元。
9.根据权利要求7所述的系统,还包括视频信息处理单元,所述视频信息处理单元用于为分布式存储上的原始视频和压缩视频建立索引,并对分布式存储上的原始视频和压缩视频进行校验使其同步。
10.根据权利要求7所述的系统,进一步的连接有视频回放单元,用于回放存储的视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011102351437A CN102543108A (zh) | 2011-08-16 | 2011-08-16 | 基于分布式存储的视频冗余策略优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011102351437A CN102543108A (zh) | 2011-08-16 | 2011-08-16 | 基于分布式存储的视频冗余策略优化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102543108A true CN102543108A (zh) | 2012-07-04 |
Family
ID=46349837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011102351437A Pending CN102543108A (zh) | 2011-08-16 | 2011-08-16 | 基于分布式存储的视频冗余策略优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102543108A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104113735A (zh) * | 2014-07-30 | 2014-10-22 | 武汉烽火众智数字技术有限责任公司 | 一种分布式视频监控存储系统及其方法 |
CN104767964A (zh) * | 2014-01-08 | 2015-07-08 | 株式会社日立制作所 | 视频存储控制和优化的方法及其装置、视频监控系统 |
WO2021174828A1 (zh) * | 2020-07-29 | 2021-09-10 | 平安科技(深圳)有限公司 | 数据处理方法、装置、计算机系统及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2834061Y (zh) * | 2004-09-14 | 2006-11-01 | 博视智能监控(香港)有限公司 | 置于出租车内的监控系统 |
CN1921629A (zh) * | 2006-09-22 | 2007-02-28 | 杭州华为三康技术有限公司 | 音视频监控系统和数据压缩转储器 |
CN101511006A (zh) * | 2009-03-12 | 2009-08-19 | 深圳市深视音电子技术有限公司 | 网络音视频监控方法及使用该方法的网络硬盘录像机 |
CN101635815A (zh) * | 2009-08-19 | 2010-01-27 | 南京码硕信息技术有限公司 | 具有硬盘备份功能的无线车载u盘录像控制装置 |
CN101951488A (zh) * | 2010-09-07 | 2011-01-19 | 潘国平 | 数字视频监控系统对视频进行抽帧备份的方法及系统 |
-
2011
- 2011-08-16 CN CN2011102351437A patent/CN102543108A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2834061Y (zh) * | 2004-09-14 | 2006-11-01 | 博视智能监控(香港)有限公司 | 置于出租车内的监控系统 |
CN1921629A (zh) * | 2006-09-22 | 2007-02-28 | 杭州华为三康技术有限公司 | 音视频监控系统和数据压缩转储器 |
CN101511006A (zh) * | 2009-03-12 | 2009-08-19 | 深圳市深视音电子技术有限公司 | 网络音视频监控方法及使用该方法的网络硬盘录像机 |
CN101635815A (zh) * | 2009-08-19 | 2010-01-27 | 南京码硕信息技术有限公司 | 具有硬盘备份功能的无线车载u盘录像控制装置 |
CN101951488A (zh) * | 2010-09-07 | 2011-01-19 | 潘国平 | 数字视频监控系统对视频进行抽帧备份的方法及系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104767964A (zh) * | 2014-01-08 | 2015-07-08 | 株式会社日立制作所 | 视频存储控制和优化的方法及其装置、视频监控系统 |
CN104767964B (zh) * | 2014-01-08 | 2018-09-18 | 株式会社日立制作所 | 视频存储控制和优化的方法及其装置、视频监控系统 |
CN104113735A (zh) * | 2014-07-30 | 2014-10-22 | 武汉烽火众智数字技术有限责任公司 | 一种分布式视频监控存储系统及其方法 |
CN104113735B (zh) * | 2014-07-30 | 2017-05-17 | 武汉烽火众智数字技术有限责任公司 | 一种分布式视频监控存储系统及其方法 |
WO2021174828A1 (zh) * | 2020-07-29 | 2021-09-10 | 平安科技(深圳)有限公司 | 数据处理方法、装置、计算机系统及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5580734B2 (ja) | 航空機内で捕捉されたデータの取得、記録および処理の方法および装置 | |
CN103634552A (zh) | 一种监控视频存储方法、系统和中心管理服务器 | |
JP2010528925A5 (zh) | ||
CN103944981A (zh) | 一种基于纠删码技术改进的云存储系统及实现方法 | |
CN102291256A (zh) | 一种监控数据的查询方法和设备 | |
CN104581406A (zh) | 一种网络视频录像与回放系统和方法 | |
CN105100716A (zh) | 一种用于网络视频监控的安全存储单元及其系统 | |
CN104349100A (zh) | 支持单个通道双码流录像的dvr监控系统及方法 | |
CN102243615B (zh) | 一种支持音视频帧存储的内存缓冲管理方法 | |
CN102984600A (zh) | 一种基于互联网http协议的非线性编辑软件按时间分片访问文件的方法 | |
CN1921629A (zh) | 音视频监控系统和数据压缩转储器 | |
CN105659587A (zh) | 一种监控系统的数据存储方法及系统 | |
CN104168434A (zh) | 视频文件的存储、播放和管理方法 | |
CN103823807A (zh) | 一种去除重复数据的方法、装置及系统 | |
CN102543108A (zh) | 基于分布式存储的视频冗余策略优化方法 | |
CN102523410B (zh) | 一种写入视频数据的方法及视频数据存储设备 | |
KR101254179B1 (ko) | 분산 파일 시스템에서 효율적인 자료 복구 방법 | |
CN103207916B (zh) | 元数据处理的方法和装置 | |
CN102457695A (zh) | 数字硬盘录像机及数字硬盘录像机抽帧备份方法 | |
EP3172678A1 (en) | Method and apparatus for delocalized management of video data | |
CN109086457A (zh) | 一种分布式视频帧随机读取的元数据服务系统及工作方法 | |
US20190342556A1 (en) | Reducing an amount of storage used to store surveillance videos | |
CN107124571A (zh) | 录像存储方法及装置 | |
CN102255921B (zh) | 一种媒体流存储方法和数据管理服务器 | |
CN202276424U (zh) | 一种监控集中存储系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120704 |