CN201797568U - 一种基于节能磁盘阵列的视频监控系统 - Google Patents
一种基于节能磁盘阵列的视频监控系统 Download PDFInfo
- Publication number
- CN201797568U CN201797568U CN 201020645636 CN201020645636U CN201797568U CN 201797568 U CN201797568 U CN 201797568U CN 201020645636 CN201020645636 CN 201020645636 CN 201020645636 U CN201020645636 U CN 201020645636U CN 201797568 U CN201797568 U CN 201797568U
- Authority
- CN
- China
- Prior art keywords
- video
- energy
- disk
- disk array
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
一种基于节能磁盘阵列的视频监控系统,包括视频采集模块、视频传输模块、计算机、视频存储模块、视频显示模块,其中视频传输模块一端连接到视频采集模块,另一端与计算机相连;视频存储模块、视频显示模块分别与计算机相连,视频存储模块采用适于连续数据存储的节能磁盘阵列。本实用新型既满足了视频监控系统的海量存储与数据保护需求,又克服了使用普通RAID作为视频存储模块,为提供高性能,阵列中所有磁盘全天候并行工作,能耗高与磁盘寿命短的缺点。
Description
技术领域
本实用新型涉及一种视频监控系统,特别涉及一种基于节能磁盘阵列的视频监控系统,属于视频监控领域。
背景技术
随着数字视频监控应用规模的扩大,视频信息的存储日益成为重要课题,数字视频监控中视频信息的存储设备,主要包括磁盘和独立磁盘冗余阵列(RAID)。由于磁盘故障导致的数据损毁难以恢复,而视频数据的重要性日益增加,为了保证视频数据的安全性,一般采用RAID作为存储设备。
RAID是一种将多块磁盘形成一个有机整体,使之能够在硬盘故障时提供数据保护的技术,RAID技术具有以下优点:海量存储,如RAID支持16个磁盘,还可外接磁盘扩展柜;数据保护,RAID中任意一块磁盘(如RAID 5)或两块磁盘(如RAID 6)损坏后,可重建该磁盘上的数据;高性能,由于连续数据按照指定的策略分割后,分散存储到RAID中的不同磁盘上,可并行访问多个磁盘。
视频监控对存储系统的要求,主要体现在:
(1)海量存储需求。
重要场所的视频数据,存储时间一般为30天以上,若单个摄像头的视频码流按2Mb/秒计算,单个摄像头30天采集的视频数据为:
30天×24小时×3600秒×2Mb/秒=30×24×3600×0.25MB=648GB
32个摄像头30天采集的视频数据为21TB。
(2)数据保护需求。
视频监控用户(机场、监狱等)需要满足严格的规范,视频监控全天候运行,视频片段丢失导致的风险极高,数据必须保证完好无损,在RAID重建期间仍然确保性能;
(3)性能需求。
上例中,向磁盘阵列写入32个摄像头采集的视频数据时,带宽需求为:
32×2Mb/秒=32×0.25MB/秒=8MB/s
即每秒仅写入8MB数据,100个摄像头时每秒也仅写入25MB数据,视频监控系统对性能要求较低。
根据以上分析,在视频监控领域采用RAID存储系统,虽然能够提供海量存储和实现数据保护,RAID组中磁盘并行工作提供的高性能,并没有被有效利用。此外,还存在如下缺点:磁盘故障率高,磁盘寿命取决于磁盘的工作时间,所有磁盘全天候并行工作,即使某块磁盘当前没有读写任务,也必须空转;能耗高,所有磁盘全天候并行工作,消耗电能,并且磁盘工作时产生热量,需要风扇降温。
实用新型内容
本实用新型所要解决的技术问题是,针对上述现有技术现状而提供一种基于节能磁盘阵列的视频监控系统。
为了解决上述技术问题所采取的技术方案为:
一种基于节能磁盘阵列的视频监控系统,如图1所示,包括视频采集模块、视频传输模块、计算机、视频存储模块、视频显示模块,其中视频传输模块一端连接到视频采集模块,另一端与计算机相连;视频存储模块、视频显示模块分别与计算机相连。
视频采集、视频传输部分,需根据实际需求与条件,采用现有的不同技术方案实现,如视频采集模块可以为包括模拟摄像头和A/D转换器,模拟摄像头采集模拟视频数据,再经A/D转换器转换成数字视频数据;也可用数字摄像头直接采集数字视频数据。视频采集模块还可以包括压缩编码器,对数字视频数据进行压缩编码,也可不进行压缩编码。视频传输模块可采用系统总线,如PCI总线,也可采用外部总线,如SCSI总线,还可以利用网络,如以太网,传输视频数据;计算机控制视频监控系统的整体工作;视频显示负责显示指定的视频文件。
视频存储模块可以采用节能磁盘阵列,如图2所示,节能磁盘阵列包括节能磁盘阵列控制器、辅助盘和磁盘组,其中节能磁盘阵列控制器与计算机相连,辅助盘和磁盘组分别连接到节能磁盘阵列控制器。节能磁盘阵列控制器根据计算机发来的读、写命令,控制辅助盘和磁盘组进行读、写操作;辅助盘存储视频文件的元数据以及逻辑块地址转化表;磁盘组存储基本视频数据。
磁盘组具有如下特点:
阵列由N(N≥3)个磁盘构成,全部磁盘划分成N个条带,每个条带上有N个存储块,其中M个(M=1为单盘容错;M=2为双盘容错)为校验块,其余N-M个为数据块,M个校验块由相同条带内的N-M个数据块运算得出(M=1时,采用异或运算;M=2时,一个校验块采用异或运算,另一个采用伽罗华域运算)。数据块内部的逻辑地址相邻,同一磁盘中位置相邻数据块(如果是分布式校验,校验块两侧的数据块认为是位置相邻)的逻辑地址相邻,阵列中前一磁盘的末尾数据块与下一磁盘的首个数据块逻辑地址相邻。进行数据存储时,视频数据顺序写入阵列中第一块磁盘的第一个数据块、第二个数据块、……、该盘最后一个数据块;第一块磁盘全部数据块写满后,再写入第二块磁盘的第一数据块、第二数据块、……、该盘最后一个数据块;……;最后写入第N块磁盘的第一数据块、第二数据块、……、该盘最后一个数据块。
磁盘组中每块磁盘都具有停止、运行、就绪三种状态:停止时磁盘转轴停止旋转、磁头停止寻道;运行时磁盘执行读写操作,转轴旋转、磁头寻道;就绪时磁盘将要被访问,磁盘转轴旋转、磁头不寻道。进行顺序数据访问时,根据访问的逻辑地址,调度访问数据所在磁盘、同条带检验数据所在磁盘运行,其余磁盘暂时没有任务,调度到停止状态,实现节能和减轻磁盘损耗的目的。
同时进行顺序读写操作时,可调度读写数据所在磁盘工作,阵列中某块磁盘故障,需要数据重构时,需要调度所有磁盘工作。
磁盘组的数据写入操作以“读-改-写”的方式实现。为了提高写性能,进行了写优化,即把用于产生新校验数据的旧数据与旧校验数据预读到缓冲区,以便从预读区读取旧数据与旧校验数据,磁盘可以连续执行写操作,只有预读区中的数据用完后,才进行一次预读来填满预读区,写优化后,多个读操作被转换为一个连续的读操作,减少了磁盘寻道次数,阵列的连续写带宽接近单块磁盘连续写带宽的一半,能够满足绝大多数对带宽没有苛刻要求视频监控系统。
对于视频监控系统的更高性能需求,可采用分组并行的磁盘组,工作原理如下:将每个条带上的数据块平均分成p组,每组包含q个数据块,可并行访问组内的q个数据块,其余p-1组数据块所在磁盘停止工作,写优化处理后,其连续写带宽约为q·BWDisk/2,连续读带宽约q·BRDisk,其中BWDisk为单块磁盘的连续写带宽,BRDisk单块磁盘的连续读带宽,当p=1时,磁盘组还原为普通RAID形式。
对于多路视频监控系统,通常为每一路视频数据建立一个视频文件进行保存,操作系统为各路视频文件分配逻辑块时,不能保证所分配的逻辑块相邻,将会导致对磁盘组的随机访问,无法发挥其适于顺序存储的特点,实现节能与降低磁盘损耗的目的,可采取如下措施:
各视频文件的元数据与视频数据分开存放,磁盘组只存储视频数据,辅助盘存储元数据、块地址转换表,视频数据读写过程如下:
(1)写视频文件数据时,节能磁盘阵列控制器根据操作系统发来的写命令,和块地址转换表,把写操作的随机逻辑块地址,转换为顺序逻辑块地址后,写入磁盘组,并在块地址转换表中记录本次转换。
(2)读视频文件数据时,节能磁盘阵列控制器根据块地址转换表,确定读数据在磁盘组中的位置后,从磁盘组中读出数据。
辅助盘采用固态盘,并用Cache缓存块地址转换表时,能显著降低块地址转换所引起的性能损失。读写视频文件元数据时,节能磁盘阵列控制器根据收到的读、写命令,直接读写辅助盘。
有益效果
与现有技术相比,本实用新型的优点在于:
采用节能磁盘阵列存储视频数据,既满足了视频监控系统的海量存储与数据保护需求,又克服了普通RAID为提供高性能,阵列中所有磁盘全天候并行工作,能耗高与磁盘寿命短的缺点。
节能磁盘阵列绝大部分时间里,只进行视频监控数据的写入操作,此时只有1+M块磁盘工作,功耗约为相同盘数普通RAID的(1+M)/N;设单块磁盘的使用寿命为h小时,普通RAID中所有磁盘并行工作,其使用寿命也为h小时,节能磁盘阵列的寿命约为h·N/(1+M)小时,其中M=1或2,N为磁盘数,N值越大节能与寿命延长效果越好。对于分组并行的节能磁盘阵列,在绝大部分时间里,只有q+M块磁盘工作,其功耗约为相同盘数普通RAID的(q+M)/N,q为组内磁盘数,阵列的寿命h·N/(q+M)。
附图说明
图1为本实用新型的总体结构图;
图2为本实用新型中节能磁盘阵列结构图;
图3为本实用新型实施例的结构图;
图4为本实用新型实施例中磁盘组的总体数据布局;
图5为本实用新型实施例中磁盘组的详细数据布局。
具体实施方式
下面结合实施例对本实用新型作进一步详细描述。
如图3所示,一种基于节能磁盘阵列的视频监控系统,包括15路视频数据,视频数据采用D1显示标准,每路传输带宽为2Mb/s。各路中由CCD传感器获得模拟视频数据,经低通滤波器滤除干扰的高频信号,A/D转换器进行采样编码后,采用MPEG-4标准进行压缩编码;压缩后的视频数据通过网络接口传送到计算机;计算机连接节能磁盘阵列。
为每路视频数据建立一个视频文件,接收的各路视频数据,保存到各自的文件中,视频文件的元数据保存在辅助盘上,视频数据保存在磁盘组中。
磁盘组的结构如下:
本实施例中,采用分布式校验,单盘容错,未分组并行的磁盘组,阵列由6块ST32000542AS磁盘组成,参数见表1。如图4所示,划分6个条带,每个条带包含5个数据块和1个校验块,校验块由同条带的5个数据块异或运算得出。如第1条带的数据块的编号为11、21、31、41、51,该条带校验块P(1)由数据块11、21、31、41、51异或运算而得。
令数据子块大小为4KB,把每个数据块分成K(K=磁盘容量/条带数/4KB)个数据子块,如图5所示,位置相邻的数据子块的逻辑地址是相邻的;每个校验块也分成K个校验子块,校验子块由同条带各个数据块中偏移位置相同的5个数据子块异或运算得出。对全部数据子块编号,同一磁盘中位置相邻数据块的逻辑地址相邻,前一磁盘的末尾数据块与下一磁盘的首个数据块逻辑地址相邻。
表1ST32000542AS磁盘的相关参数
顺序访问时,如向数据块11写数据时,只有磁盘1和数据块11同条带校验块P(1)所在磁盘6工作,其余磁盘没有任务停止工作;数据块11写满后,向数据块12写数据,磁盘6停止工作,磁盘1和数据块12同条带校验块P(2)所在磁盘5工作;……,数据块15写满后,向数据块21写数据,磁盘1停止工作,磁盘2和数据块21同条带校验块P(1)所在磁盘6工作;依此类推,直到阵列中所有数据块写满。
对节能磁盘阵列写视频数据时,节能磁盘阵列控制器把写操作的随机逻辑块地址,转换为顺序逻辑块地址后,再令磁盘组进行写操作。如操作系统发来的第1个写数据请求,记作(W,B1,X1),W表示写操作,B1为起始块号,X1为块数,由于B1不一定等于磁盘组起始块号1,因此节能磁盘阵列控制器把该写操作转换为(W,1,X1)后,令磁盘组从块号1开始写X1个数据块,并把该转换记录到块地址转换表中,见表2;同理,把第2个写数据请求(W,B2,X2)转换为(W,1+X1,X2)后,令磁盘组从块号1+X1开始写X2个数据块,并记录该转换到块地址转换表中。依此类推,实现了磁盘组的顺序写操作。
读节能磁盘阵列的视频数据时,节能磁盘阵列控制器根据块地址转换表,确定读数据在磁盘组中的位置,再从磁盘组中读出数据。本实例中采用固态盘,并采用Cache缓存部分转换表,进行地址转换引起的性能损失可以忽略。
表2逻辑块地址转换表
写优化后,节能磁盘阵列连续写带宽接近单块磁盘连续写带宽的一半,本例中单块磁盘连续写带宽为84MB,连续读带宽约为95MB(见表1),故节能磁盘阵列的连续写带宽约为42MB,而15路视频数据的总带宽仅为3.75MB/s(15×2Mb/秒=15×0.25MB/秒),即使考虑到同时读写以及数据重建时的带宽开销,也完全能够满足监控系统的性能需求。15路2Mb/秒的视频数据,每天24小时监控,30天需要的存储空间为:30×24×3600秒×15×2Mb/秒=9720GB,节能磁盘阵列的有效存储容量为2000GB×6×5/6=10000GB,能满足监控系统的存储容量需求。当任意磁盘出现故障后,都可利用其余磁盘恢复故障磁盘上的数据,所以也能满足监控系统的数据保护需求。
节能磁盘阵列绝大部分时间里,只有两块(只进行写操作,视频监控系统的主要工作模式)磁盘工作,其功耗约为相同盘数普通RAID的2/N,这里N=6,即1/3,假定单块磁盘的使用寿命为h小时,由于普通RAID所有磁盘并行工作,其使用寿命也为h小时,而节能型磁盘阵列的寿命约为h·N/2,即3h小时,约为普通RAID的3倍。
本实用新型不仅限于以上实施例,凡是利用本实用新型的设计思路,做一些简单变化的设计,都应计入本实用新型的保护范围之内。
Claims (7)
1.一种基于节能磁盘阵列的视频监控系统,其特征在于,包括视频采集模块、视频传输模块、计算机、视频存储模块、视频显示模块,其中视频传输模块一端连接到视频采集模块,另一端与计算机相连;视频存储模块、视频显示模块分别与计算机相连。
2.如权利要求1所述的一种基于节能磁盘阵列的视频监控系统,其特征在于:所述视频存储模块采用适于连续数据存储的节能磁盘阵列,节能磁盘阵列包括节能磁盘阵列控制器、辅助盘和磁盘组,其中节能磁盘阵列控制器与计算机相连,辅助盘和磁盘组分别连接到节能磁盘阵列控制器。
3.如权利要求1或2所述的一种基于节能磁盘阵列的视频监控系统,其特征在于:所述视频采集模块包括模拟摄像头和A/D转换器。
4.如权利要求1或2所述的一种基于节能磁盘阵列的视频监控系统,其特征在于:所述视频采集模块包括数字摄像头。
5.如权利要求3所述的一种基于节能磁盘阵列的视频监控系统,其特征在于:所述视频采集模块还包括压缩编码器。
6.如权利要求4所述的一种基于节能磁盘阵列的视频监控系统,其特征在于:所述视频采集模块还包括压缩编码器。
7.如权利要求1或2所述的一种基于节能磁盘阵列的视频监控系统,其特征在于:所述视频传输模块采用系统总线,或外部总线,或者网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201020645636 CN201797568U (zh) | 2010-12-01 | 2010-12-01 | 一种基于节能磁盘阵列的视频监控系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201020645636 CN201797568U (zh) | 2010-12-01 | 2010-12-01 | 一种基于节能磁盘阵列的视频监控系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN201797568U true CN201797568U (zh) | 2011-04-13 |
Family
ID=43852464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201020645636 Expired - Fee Related CN201797568U (zh) | 2010-12-01 | 2010-12-01 | 一种基于节能磁盘阵列的视频监控系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN201797568U (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103188518A (zh) * | 2011-12-29 | 2013-07-03 | 中国航天科工集团第二研究院七〇六所 | 无线网络视频存储系统及其无线网络视频监控方法 |
CN104102724A (zh) * | 2014-07-22 | 2014-10-15 | 浪潮电子信息产业股份有限公司 | 一种基于视频监控数据的写入方法 |
CN104461733A (zh) * | 2014-11-24 | 2015-03-25 | 浪潮电子信息产业股份有限公司 | 一种高端磁盘阵列多控制器间的并行io调度方法 |
CN104869358A (zh) * | 2015-05-19 | 2015-08-26 | 重庆大学 | 一种安全监控系统的构建方法 |
CN105306865A (zh) * | 2015-10-29 | 2016-02-03 | 南京秦杜明视信息技术有限公司 | 一种视频监控数据系统 |
CN109164981A (zh) * | 2018-08-15 | 2019-01-08 | 优刻得科技股份有限公司 | 磁盘管理方法、装置、存储介质和设备 |
WO2019141248A1 (zh) * | 2018-01-18 | 2019-07-25 | 杭州海康威视系统技术有限公司 | 存储数据的方法和装置 |
-
2010
- 2010-12-01 CN CN 201020645636 patent/CN201797568U/zh not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103188518A (zh) * | 2011-12-29 | 2013-07-03 | 中国航天科工集团第二研究院七〇六所 | 无线网络视频存储系统及其无线网络视频监控方法 |
CN103188518B (zh) * | 2011-12-29 | 2016-06-08 | 中国航天科工集团第二研究院七〇六所 | 无线网络视频存储系统及其无线网络视频监控方法 |
CN104102724A (zh) * | 2014-07-22 | 2014-10-15 | 浪潮电子信息产业股份有限公司 | 一种基于视频监控数据的写入方法 |
CN104461733A (zh) * | 2014-11-24 | 2015-03-25 | 浪潮电子信息产业股份有限公司 | 一种高端磁盘阵列多控制器间的并行io调度方法 |
CN104869358A (zh) * | 2015-05-19 | 2015-08-26 | 重庆大学 | 一种安全监控系统的构建方法 |
CN105306865A (zh) * | 2015-10-29 | 2016-02-03 | 南京秦杜明视信息技术有限公司 | 一种视频监控数据系统 |
CN105306865B (zh) * | 2015-10-29 | 2019-05-17 | 四川奇迹云科技有限公司 | 一种视频监控数据系统 |
WO2019141248A1 (zh) * | 2018-01-18 | 2019-07-25 | 杭州海康威视系统技术有限公司 | 存储数据的方法和装置 |
US11372567B2 (en) | 2018-01-18 | 2022-06-28 | Hangzhou Hikvision System Technology Co., Ltd. | Method and apparatus for storing data |
CN109164981A (zh) * | 2018-08-15 | 2019-01-08 | 优刻得科技股份有限公司 | 磁盘管理方法、装置、存储介质和设备 |
CN109164981B (zh) * | 2018-08-15 | 2020-06-16 | 优刻得科技股份有限公司 | 磁盘管理方法、装置、存储介质和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN201797568U (zh) | 一种基于节能磁盘阵列的视频监控系统 | |
CN101727299B (zh) | 连续数据存储中面向raid5的写操作优化设计方法 | |
CN103049222B (zh) | 一种raid5的写io优化处理方法 | |
CN106293511B (zh) | 一种面向连续数据存储的动态局部并行数据布局方法 | |
CN101976175B (zh) | 一种水平型分组并行集中校验的磁盘阵列的构建方法 | |
CN101976174B (zh) | 一种垂直排布分布校验的节能型磁盘阵列的构建方法 | |
AU2007231179B2 (en) | Hard disk storage system | |
CN100357873C (zh) | 输入输出调适性写入快取政策调整作业 | |
Sun et al. | DPPDL: a dynamic partial-parallel data layout for green video surveillance storage | |
CN2791752Y (zh) | 高速数据存储设备 | |
Lin et al. | Hot random off-loading: A hybrid storage system with dynamic data migration | |
CN101976178B (zh) | 一种垂直排布集中校验的节能型磁盘阵列的构建方法 | |
CN102023819B (zh) | 一种双磁盘容错水平型分组并行访问磁盘阵列的构建方法 | |
CN103294412A (zh) | 实现用于瓦状磁体记录的大块随机写入热备份固态驱动器 | |
CN106528001A (zh) | 一种基于非易失性存储器和软件raid的缓存系统 | |
CN102637147A (zh) | 利用固态硬盘作为计算机写缓存的存储系统以及相应的管理调度方法 | |
CN101604226A (zh) | 一种基于虚拟raid构建动态缓存池提高存储系统性能的方法 | |
CN101976177A (zh) | 一种垂直型分组并行集中校验的磁盘阵列的构建方法 | |
CN107526544A (zh) | 一种分布式存储Ceph集群硬件选型设计方法 | |
CN103916459A (zh) | 一种大数据归档存储系统 | |
CN101976176B (zh) | 一种水平型分组并行分布校验的磁盘阵列的构建方法 | |
CN102023820A (zh) | 一种双磁盘容错垂直型分组并行访问磁盘阵列的构建方法 | |
CN101414244A (zh) | 一种网络环境下处理数据的方法、装置和系统 | |
CN102243615A (zh) | 一种支持音视频帧存储的内存缓冲管理机制 | |
CN101976179B (zh) | 一种垂直型分组并行分布校验的磁盘阵列的构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110413 Termination date: 20131201 |