CN102595085B - 一种数据存储管理方法及其设备 - Google Patents

一种数据存储管理方法及其设备 Download PDF

Info

Publication number
CN102595085B
CN102595085B CN201110458153.7A CN201110458153A CN102595085B CN 102595085 B CN102595085 B CN 102595085B CN 201110458153 A CN201110458153 A CN 201110458153A CN 102595085 B CN102595085 B CN 102595085B
Authority
CN
China
Prior art keywords
data
base unit
write
enhancing
elementary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110458153.7A
Other languages
English (en)
Other versions
CN102595085A (zh
Inventor
孙策
周迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
Hangzhou H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou H3C Technologies Co Ltd filed Critical Hangzhou H3C Technologies Co Ltd
Priority to CN201110458153.7A priority Critical patent/CN102595085B/zh
Publication of CN102595085A publication Critical patent/CN102595085A/zh
Application granted granted Critical
Publication of CN102595085B publication Critical patent/CN102595085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明公开了一种数据存储管理方法及其设备,IPSAN逻辑空间的每个基本单位被划分为一个基本数据区和至少一个增强数据区,该方法包括:存储设备接收包含有基本层和增强层的视频监控数据,并对于每个时间单元的视频监控数据,将基本层数据写入基本数据区,将各增强层数据写入增强数据区;当最后一个基本单位中的基本数据区写满后,从第一个基本单位中的基本数据区开始复写,当最后一个基本单位中的增强数据区写满后,从第一个基本单位中对应的增强数据区开始复写;存储设备根据视频监控数据存储情况建立索引信息。

Description

一种数据存储管理方法及其设备
技术领域
本发明涉及通信技术领域的视频监控技术,尤其涉及一种数据存储管理方法及其设备。
背景技术
目前在监控系统中采用IPSAN(IP Storage Area Network,IP存储局域网络)进行数据存储被普遍应用。典型的视频监控系统的组网如图1所示,其前端设备和中心设备通过IP网络通信,前端设备主要包括摄像头、EC(Encoder,编码器);中心设备主要包括:VM(Video Management,视频管理服务器)、IPSAN、DM(Data Management Server,数据管理服务器)、MS(Media Switch,媒体交换服务器)、DC(Decoder,解码器)、VC(Video Client,视频客户端),以及相应的软件管理系统及网络传输设备。其中:
EC:位于监控系统前端,可以将模拟音视频信号按照指定格式、指定码率进行编码,可以单播或组播给DC设备和客户端点播,以及存储到IPSAN中;
DC:可将系统中的音视频编码信号还原成模拟的视频音频信号并输出;
VM:是监控系统中的视频管理服务器,可以集中管理控制监控系统所有设备,调度各种视频监控业务,以及管理分配监控用户权限;
MS:在单播网络环境下,该服务器可以提供单播音媒体流的复制分发,同时对于外网访问,该服务器还可以提供内网组播转外网单播服务;
DM:可对存储单元进行统一的资源管理和配置和故障检测;
IPSAN:可采用RAID(Redundant Array of Independent Disks,独立磁盘冗余阵列,简称为“磁盘阵列”。它的原理是利用多个磁盘的组合连成一个阵列,实现以快速、准确和安全的方式来读写磁盘数据,从而达到提高数据读写速度和安全性的一种手段。
VC:可以通过该设备进行实况视频监控,也可以对EC指定时间段回放历史视频。
摄像头采集的音视频数据经EC编码后,按照存储计划存储到IPSAN中,当用户需要查看历史录像时,从IPSAN中读取音视频数据。其中,音视频数据存储过程为:EC通过iSCSI(Internet Small Computer System Interface,Internet小型计算机系统接口)连接IPSAN,将摄像头采集的音视频数据编码后写入IPSAN;音视频数据回放过程为:VC或DC向VM发出申请,由DM读取IPSAN中存储的音视频数据并发送给VC。
EC编码后的音视频数据以块文件形式存储,其文件格式如图2所示。块文件的存储方式是以16k作为一个存储单元,即,在块文件系统中文件存储的最小单位是16k。为方便检索,设有一级索引(在主索引区)和二级索引(在每个数据区),根据一级索引定位到256M的数据区,根据二级索引定位到所在数据区的最小单位16k的存储单元。储存数据以包为最小单位,每个包由私有包头(文件标志+12字节头)、裸数据、包尾组成。为方便检索,一级索引和二级索引均含有时间信息。
现有的数据存储结构中,存储数据顺序写入分配的一个IPSAN空间中,如图3所示。例如,在制定存储计划时,为一路4M码流的数据分配了127G空间。那么在连续存储3天后,空间将会被写满,新数据就从头重新开始写入,覆盖原有数据。被覆盖的数据将完全丢失,此时。存储数据的生命周期则统一为3天。3天前的所有数据如不进行备份,将会完全被覆盖,无法查询。
由此可见,现有技术方案将数据的管理时间统一为一个固定长的时间,数据生命周期到达后所有数据将被覆盖,在无备份措施的情况下,之前存储的数据将无法查询。
发明内容
本发明提供了一种数据存储管理方法及其设备,用以实现数据生命周期的分层管理。
为此,本发明实施例采用如下技术方案:
本发明实施例提供一种数据存储管理方法,应用于包含有存储设备的视频监控系统,所述存储设备采用IPSAN存储技术,所述存储设备的IPSAN逻辑空间的每个基本单位被划分为一个基本数据区和至少一个增强数据区,该方法包括:
存储设备接收包含有基本层和增强层的视频监控数据,并对于每个时间单元的视频监控数据,将其中的基本层数据写入基本单位中的基本数据区,将各增强层数据写入基本单位中对应的增强数据区;其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写;
所述存储设备根据视频监控数据存储情况建立索引信息。
本发明实施例提供一种存储设备,应用于视频监控系统,所述存储设备采用IPSAN存储技术,该存储设备包括:
数据分区模块,用于将IPSAN逻辑空间的每个基本单位划分为一个基本数据区和至少一个增强数据区;
数据存储模块,用于在接收到包含有基本层和增强层的视频监控数据时,对于每个时间单元的视频监控数据,将其中的基本层数据写入基本单位中的基本数据区,将各增强层数据写入基本单位中对应的增强数据区;其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写;
索引建立模块,用于根据视频监控数据存储情况建立索引信息。
与现有技术相比,本发明的上述实施例具有以下有益技术效果:
本发明实施例通过将256M的基本单位划分为存储基本层数据的基本区和存储增强层数据的增强区,并设置基本区的空间大于增强区的空间,在进行数据存储时,对于每个时间单元的视频监控数据,将其中的基本层数据写入基本单位中的基本数据区,将各增强层数据写入基本单位中对应的增强数据区,从而实现基本层数据和增强层数据具有不同生命周期,且基本层数据的生命周期大于增强层数据的生命周期,实现了数据生命周期的分层管理。对于相同的视频监控数据,采用本发明实施例进行存储管理时,其基本层数据的生命周期大于采用现有存储方式进行数据存储管理时的数据生命周期。虽然增强层数据的生命周期小于基本层数据的生命周期,在数据回放时,部分增强层数据可能已被复写,但由于基本层数据较大程度得到了保留,因此还可以基本恢复出原始画面。
本发明实施例提供了另一种数据存储管理方法,应用于包含有存储设备的视频监控系统,所述存储设备采用IPSAN存储技术,所述IPSAN设备的IPSAN逻辑空间的每个基本单位被划分为一个基本数据区和至少一个增强数据区,该方法包括:
存储设备接收视频监控数据,并顺序将各时间单元的视频监控数据,按照基本数据区、各增强数据区的顺序轮流写入相应数据存储区;其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的一个增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写;
所述存储设备根据视频监控数据存储情况建立索引信息。
本发明实施例提供了另一种存储设备,应用于视频监控系统,所述存储设备采用IPSAN存储技术,该存储设备包括:
数据分区模块,用于将IPSAN逻辑空间的每个基本单位划分为一个基本数据区和至少一个增强数据区;
数据存储模块,用于在接收到视频监控数据时,顺序将各时间单元的视频监控数据,按照基本数据区、各增强数据区的顺序轮流写入相应数据存储区;其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的一个增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写;
索引建立模块,用于根据视频监控数据存储情况建立索引信息。
本发明的上述实施例具有以下有益技术效果:
本发明实施例通过将256M的基本单位划分为存储基本层数据的基本区和存储增强层数据的增强区,并设置基本区的空间大于增强区的空间,在数据存储时,顺序将各时间单元的视频监控数据,按照基本数据区、各增强数据区的顺序轮流写入相应数据存储区,从而实现基本区内的数据和增强区内的数据具有不同生命周期,且基本区内数据的生命周期大于增强区内数据的生命周期,实现了数据生命周期的分层管理。对于相同的视频监控数据,采用本发明实施例进行存储管理时,某些时间单元的数据的生命周期大于采用现有存储方式进行数据存储管理时的数据生命周期。虽然部分时间单元的数据因其存储在增强区而导致生命周期小于基本区内的数据,但在数据回放时,由于基本区的数据较大程度得到了保留,因此还可以基本恢复出原始画面。
附图说明
图1为现有技术中的视频监控系统组网示意图;
图2为现有技术中的音视频数据在IPSAN中的存储格式示意图;
图3为现有技术中的IPSAN数据存储示意图;
图4为本发明实施例中的基本单位的分区示意图;
图5为本发明实施例提供的视频监控数据存储示意图;
图6为本发明一实施例提供的数据存储设备的结构示意图;
图7为本发明另一实施例提供的数据存储设备的结构示意图。
具体实施方式
针对现有技术存在的上述问题,本发明实施例提供了一种数据存储管理机制来实现数据生命周期的分层管理。
下面结合附图对本发明实施例进行详细描述。
实施例一
当EC支持图像分层技术时,其编码后的视频监控数据分为基本层和增强层。本实施例针对包含有基本层和增强层的视频监控数据的存储管理过程进行了描述。
本发明实施例在为视频监控数据分配IPSAN逻辑存储空间时,将该IPSAN设备的IPSAN逻辑空间的每个基本单位划分为一个基本数据区和至少一个增强数据区,在本发明实施例中,每个基本单位所包含的增强数据区的数量不做具体限定,可以大于、等于或小于视频监控数据的增强层的数量,优选的,每个基本单位所包含的增强数据区的数量与视频监控数据的增强层的数量相同。基本数据区的空间大于每个增强数据区的空间,其中,基本数据区用于存储视频监控数据的基本层数据,增强数据区用于存储视频监控数据的对应增强层数据。
例如,在图像分层技术支持3个增强层,即,视频监控数据中包括3个增强层的情况下,如图4所示,在DM制定存储计划确定IPSAN空间后,存储设备将分配的IPSAN逻辑存储区中的每个256M的基本单位划分为几个逻辑分区:1个基本数据区和3个增强数据区。每个增强数据区的空间均小于基本数据区的空间大小。优选的,各增强数据区的大小按照增强区的划分顺序依次递减,例如,增强区1大于增强区2大于增强区3。每个256M基本单位的第1个增强数据区的大小可以与其它256M基本单位的第1个增强数据区的大小相同或不同,以此类推,每个256M基本单位的第i个增强数据区的大小可以与其它256M基本单位的第i个增强数据区的大小相同或不同。
其中,每个256M基本单位的基本数据区用于存储视频监控数据的基本层数据,每个256M基本单位的第i个增强数据区用于存储视频监控数据的第i个增强层数据。
当有视频监控数据需要存入IPSAN存储设备时,IPSAN存储设备以时间单元(如秒)为单位将视频监控数据存入IPSAN存储设备。具体的,对于每个时间单元的视频监控数据,将其中的基本层数据写入基本单位中的基本数据区,将各增强层数据写入基本单位中对应的增强数据区。其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写;当IPSAN逻辑空间的最后一个基本单位中的一个增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写。
具体的,存储设备将视频监控数据中的基本层数据写入基本单位中的基本数据区的过程为:在前一个时间单元写入的基本层数据之后写入本时间单元的视频监控数据中的基本层数据;当已经到达当前基本数据区的尾部,且该基本数据区所在的基本单位不是最后一个基本单位时,从下一个基本单位中的基本数据区的头部开始写入;当已经到达最后一个基本单位中的基本数据区的尾部时,从第一个基本单位中的基本数据区的头部开始写入。
存储设备将增强层数据写入基本单位中对应的增强数据区的过程为:在写入视频监控数据的第i个增强层数据时,在前一个时间单元写入的第i个增强层数据之后写入本时间单元的视频监控数据中的第i个增强层数据。当已经到达当前增强数据区的尾部,且该增强数据区所在的基本单位不是最后一个基本单位时,从下一个基本单位中的第i个增强数据区的头部开始写入;当已经到达最后一个基本单位中的第i个增强数据区的尾部时,从第一个基本单位中的增强数据区的头部开始写入。
仍以图4所示的基本单位划分情况为例,该IPSAN逻辑区共有N个256M的基本单位,编号分别为1,2...N。当初始向该IPSAN逻辑区写入数据时:
对于第1秒钟的视频监控数据,将其基本层数据写入基本单位1的基本数据区,将第1增强层数据写入基本单位1的增强数据区1,将第2增强层数据写入基本单位1的增强数据区2,以此类推。
对于第2秒钟的视频监控数据,将其基本层数据写入基本单位1的基本数据区中上一次写入的数据之后,将第1增强层数据写入基本单位1的增强数据区1中上一次写入的数据之后,将第2增强层数据写入基本单位1的增强数据区2中上一次写入的数据之后,以此类推。
当欲写入第k秒的视频监控数据时,基本单位1的增强数据区2已经写满,则在基本单位2的增强数据区2的开始部分写入第k秒的第2增强层数据。
当欲写入第m秒的视频监控数据时,基本单位1的基本数据区1已经写满,则在基本单位2的基本数据区的开始部分写入第m秒的基本层数据。
当欲写入第q秒的视频监控数据时,基本单位N的增强数据区2已经写满,则在基本单位1的增强数据区2的开始部分覆盖写入第q秒的视频监控数据的第2增强层数据。
当欲写入第s秒的视频监控数据时,基本单位N的基本数据区1已经写满,则在基本单位1的基本数据区的开始部分覆盖写入第s秒的视频监控数据的基本层数据。
在每个基本数据区的头部还保存有索引表(即二级索引表),用来索引所在基本数据区中存储的视频监控数据。每次在基本数据区写入一个时间单元的视频监控数据的基本层数据后,针对该时间单元的基本层数据,在该基本数据区的索引表中建立对应的一个索引项;同理,在每个增强数据区的头部也保存有基本信息索引表,每次在增强数据区写入一个时间单元的视频监控数据的增强层数据后,针对该时间单元的增强层数据,在该增强数据区的索引表中建立对应的一个索引项。
基本数据区和增强数据区的索引项中可包括:时间信息、数据大小和数据偏移量,其中:
时间信息,是对应视频监控数据的时间信息,其粒度不低于时间单元的时间单位。例如,在时间单元为1秒的情况下,2011年6月12日23时24分13秒的视频监控数据的时间信息可记为:2011-06-12-23:24:13。
数据大小,表示对应时间单元内写入的视频监控数据的数量大小。对于基本数据区索引表来说,数据大小是指对应时间单元内写入的基本层数据的数据量;对于增强数据区索引表来说,数据大小是指对应时间单元内在增强数据区写入的相应增强层数据的数据量。
数据偏移量,表示对应时间单元的数据相对于该索引表所在数据分区(基本区或增强区)的起始位置。对于基本数据区索引表来说,数据偏移量是指对应时间单元内在该索引表所在的基本数据区写入的基本层数据相对于该基本数据区起始存储位置的偏移量;对于增强数据区索引表来说,数据偏移量是指对应时间单元内在该索引表所在的增强数据区写入的增强层数据相对于该增强数据区起始存储位置的偏移量。“数据偏移量”与“数据大小”一起可以定位出相应时间单元的数据。
当存储设备接收到回放请求执行视频监控数据回放业务时,可根据索引表查找到对应的数据后响应该回放请求,具体的,存储设备可根据请求回放的数据所对应的IPSAN逻辑区和回放时间段,通过查询相应IPSAN逻辑区的一级索引,以确定出存储有对应时间段数据的各基本单位,再遍历各基本单位中基本数据区和增强数据区的二级索引表,查找到该时间段内各时间单元的基本层数据和增强层数据。
为了进一步提高数据回放业务过程中查询视频监控数据的效率,本发明的另一实施例中,基本数据区和增强数据区的索引表中除了记录有时间信息、数据大小、数据偏移量以外,还记录有后续增强数据所在的基本单位的标识、上一基本单位的标识。基本单位通常从1开始编号,此种情况下:
对于基本数据区的索引项,“后续增强数据所在的基本单位的标识”为对应时间单元的第一个增强层数据应写入的目标基本单位的编号;对于增强数据区的索引项,“后续增强数据所在的基本单位的标识”为对应时间单元的下一个增强层数据应写入的基本单位的编号。当已经达到最后一个基本单位时,下一个基本单位为第一个基本单位,相应的,该“后续增强数据所在的基本单位的标识”记为0。
对于基本数据区的索引项,“上一基本单位的标识”为对应时间单元的上一个时间单元内写入的最后一个增强层数据所在的基本单位的编号;对于增强数据区的索引项,“上一基本单位的标识”为对应时间单元内写入的上一个增强层数据所在的基本单位的编号。当对应时间单元写入的视频监控数据所在的基本单位为第一个基本单位时,该“上一基本单位的标识”记为0。
例如,表1和表2示出了初始时,基本单位1的基本数据区和增强数据区i的2个索引项,
表1、基本数据区的索引表
其中,2011-06-12-23:24:13对应的“后续增强数据所在的基本单位的编号”为1,表示该时间点的增强层数据存储于基本单位1中的增强区;2011-06-12-23:24:13对应的“上一基本单位的编号”为0,表示该时间点的基本层数据存储于第一个基本单位中,不存在上一个基本单位。
表2、增强数据区i的索引表
其中,2011-06-12-23:24:13对应的“后续增强数据所在的基本单位的编号”为1,表示该时间点的第i+1增强层数据存储于基本单位1中的增强区;2011-06-12-23:24:13对应的“上一基本单位的编号”为1,表示该时间点的第i-1增强层数据存储于基本单位1中。若i=1,则“上一基本单位的编号”为1,表示该时间点的基本层数据存储于基本单位1中。
对增强数据区数据进行复写时,将根据该增强数据区索引中的上一基本单位的编号,去修改上一基本单位的相应增强数据区索引中相应时间点的后续增强数据所在的基本单位的编号,将其置为0。
当存储设备接收到回放请求执行视频监控数据回放业务时,可根据索引表查找到对应的数据后响应该回放请求。具体的,以时间单元为秒为例,存储设备可根据请求回放的数据所对应的IPSAN逻辑区和回放时间段,通过查询相应IPSAN逻辑区的一级索引,以确定出存储有对应时间段数据的各基本单位;然后对于该时间段中的每秒钟,通过遍历这些基本单位中基本数据区的二级索引表,查找到存储有该秒数据的基本数据区,根据该基本数据区的二级索引表读取该秒的基本层数据,然后通过该基本数据区的二级索引表中的“后续增强数据所在的基本单位的编号”,找到对应的基本单位中该秒的第一个增强层数据,再通过该第一个增强数据对应的二级索引项中的“后续增强数据所在的基本单位的编号”找到该秒的第二个增强层数据,以此类推,直到找到该秒的最后一个增强层数据。由于增强层数据的存储周期小于基本层数据,因此针对于某个或某些秒钟的数据,有可能仅找到部分增强层的数据。
通过以上描述可以看出,通过将256M的基本单位划分为存储基本层数据的基本区和存储增强层数据的增强区,并设置基本区的空间大于增强区的空间,在进行数据存储时,对于每个时间单元的视频监控数据,将其中的基本层数据写入基本单位中的基本数据区,将各增强层数据写入基本单位中对应的增强数据区,从而实现基本层数据和增强层数据具有不同生命周期,且基本层数据的生命周期大于增强层数据的生命周期,实现了数据生命周期的分层管理。对于相同的视频监控数据,采用本发明实施例进行存储管理时,其基本层数据的生命周期大于采用现有存储方式进行数据存储管理时的数据生命周期。虽然增强层数据的生命周期小于基本层数据的生命周期,在数据回放时,部分增强层数据可能已被复写,但由于基本层数据较大程度得到了保留,因此还可以基本恢复出原始画面。
实施例二
当EC不支持图像分层技术时,其编码后的视频监控数据中不会划分为基本层和增强层。本实施例针对不分层的视频监控数据的存储管理过程进行了描述。
本发明实施例在为视频监控数据分配IPSAN逻辑存储空间时,将该IPSAN设备的IPSAN逻辑空间的每个基本单位划分为一个基本数据区和至少一个增强数据区,基本数据区的空间大于每个增强数据区的空间。其中,增强数据区的数量可根据需要设置,其划分方式可如图4所示。
当有视频监控数据需要存入IPSAN存储设备时,IPSAN存储设备以时间单元(如秒)为单位将视频监控数据存入IPSAN存储设备。具体的,存储设备顺序将各时间单元的视频监控数据,按照基本数据区、各增强数据区的顺序轮流写入相应数据存储区。其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的一个增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写。
具体的,存储设备将各时间单元的视频监控数据,按照基本数据区、各增强数据区的顺序轮流写入相应数据存储区的过程中,在需要向基本数据区写入视频监控数据时,若一个基本单位中的基本数据区已经写满,则写入下一个基本单位中的基本数据区;在需要向第i个增强数据区写入视频监控数据时,若一个基本单位中的第i个增强数据区已经写满,则写入下一个基本单位中的第i个增强数据区。
仍以图4所示的基本单位划分情况为例,该IPSAN逻辑区共有N个256M的基本单位,编号分别为1,2...N。当初始向该IPSAN逻辑区写入数据时:
第1秒钟的数据写入基本单位1的基本数据区;
第2秒钟的数据写入基本单位1的增强数据区1;
第3秒钟的数据写入基本单位1的增强数据区2;
第4秒钟的数据写入基本单位1的增强数据区3;
第k秒钟时,基本单位1的增强数据区3已经写满,则第k+4秒钟的数据写入基本单位2的增强数据区3;
第m秒钟时,基本单位1的基本数据区已经写满,则第m+4秒钟的数据写入基本单位2的基本数据区;
第q秒钟时,基本单位N的增强数据区3已经写满,则第q+4秒钟的数据覆盖写入基本单位1的增强数据区3;
第s秒钟时,基本单位N的基本区已经写满,则第s+4秒钟的数据覆盖写入基本单位1的基本数据区。
在每个基本数据区的头部还保存有索引表(即二级索引表),用来索引所在基本数据区中存储的视频监控数据。每次在基本数据区写入一个时间单元的视频监控数据的基本层数据后,针对该时间单元的基本层数据,在该基本数据区的索引表中建立对应的一个索引项;同理,在每个增强数据区的头部也保存有基本信息索引表,每次在增强数据区写入一个时间单元的视频监控数据的增强层数据后,针对该时间单元的增强层数据,在该增强数据区的索引表中建立对应的一个索引项。
基本数据区和增强数据区的索引项中可包括:时间信息、数据大小和数据偏移量。其中,时间信息、数据大小和数据偏移量的含义如前所述。
当存储设备接收到回放请求执行视频监控数据回放业务时,可根据索引表查找到对应的数据后响应该回放请求。具体的,以时间单元为秒为例,存储设备可根据请求回放的数据所对应的IPSAN逻辑区和回放时间段,通过查询相应IPSAN逻辑区的一级索引,以确定出存储有对应时间段数据的各基本单位;然后通过遍历这些基本单位中各基本区和增强区的二级索引表,找到该时间段内各时间单元的视频监控数据。由于增强区内的数据的存储周期小于基本区内的数据,因此针对于某个或某些秒钟,有可能找不到对应的视频监控数据。
通过以上描述可以看出,通过将256M的基本单位划分为存储基本层数据的基本区和存储增强层数据的增强区,并设置基本区的空间大于增强区的空间,在数据存储时,顺序将各时间单元的视频监控数据,按照基本数据区、各增强数据区的顺序轮流写入相应数据存储区,从而实现基本区内的数据和增强区内的数据具有不同生命周期,且基本区内数据的生命周期大于增强区内数据的生命周期,实现了数据生命周期的分层管理。对于相同的视频监控数据,采用本发明实施例进行存储管理时,某些时间单元的数据的生命周期大于采用现有存储方式进行数据存储管理时的数据生命周期。虽然部分时间单元的数据因其存储在增强区而导致生命周期小于基本区内的数据,但在数据回放时,由于基本区的数据较大程度得到了保留,因此还可以基本恢复出原始画面。
基于与实施例一相同的技术构思,本发明实施例还提供了一种可应用于上述视频监控系统和流程的存储设备。
参见图6,为本发明实施例提供的存储设备的结构示意图,该存储设备应用于视频监控系统,采用IPSAN存储技术,该存储设备可包括:
数据分区模块61,用于将IPSAN逻辑空间的每个基本单位划分为一个基本数据区和至少一个增强数据区,基本数据区的空间大于每个增强数据区的空间,每个基本单位所包含的增强数据区的数量与视频监控数据的增强层的数量相同。
数据存储模块62,用于在接收到包含有基本层和增强层的视频监控数据时,对于每个时间单元的视频监控数据,将其中的基本层数据写入基本单位中的基本数据区,将各增强层数据写入基本单位中对应的增强数据区;其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的一个增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写。
索引建立模块63,用于根据视频监控数据存储情况建立索引信息。
具体的,数据存储模块62用于,在前一个时间单元写入的基本层数据之后写入本时间单元的视频监控数据中的基本层数据;当已经到达当前基本数据区的尾部,且该基本数据区所在的基本单位不是最后一个基本单位时,从下一个基本单位中的基本数据区的头部开始写入;当已经到达最后一个基本单位中的基本数据区的尾部时,从第一个基本单位中的基本数据区的头部开始写入。
第N个增强数据区用于存储视频监控数据的第N个增强层数据。
具体的,数据存储模块用于,在写入本时间单元的视频监控数据的第N个增强层数据时,在前一个时间单元写入的第N个增强层数据之后写入本时间单元的视频监控数据中的第N个增强层数据;当已经到达当前增强数据区的尾部,且该增强数据区所在的基本单位不是最后一个基本单位时,从下一个基本单位中的第N个增强数据区的头部开始写入;当已经到达最后一个基本单位中的第N个增强数据区的尾部时,从第一个基本单位中的增强数据区的头部开始写入。
具体的,索引建立模块63用于,在视频监控数据写入的目标基本数据区和目标增强数据区分别建立索引项,其中包括后续增强数据所在的基本单位的标识、上一基本单位的标识。
对于基本数据区的索引项,后续增强数据所在的基本单位的标识,为对应时间单元的第一个增强层数据应写入的目标基本单位的标识;对于增强数据区的索引项,后续增强数据所在的基本单位的标识,为对应时间单元的下一个增强层数据应写入的基本单位的标识。
对于基本数据区的索引项,上一基本单位的标识,为对应时间单元的上一个时间单元内写入的最后一个增强层数据所在的基本单位的标识;对于增强数据区的索引项,上一基本单位的标识,为对应时间单元内写入的上一个增强层数据所在的基本单位的标识。
索引建立模块63还用于,复写增强数据区时,根据该增强数据区索引信息中的上一基本单位的标识,更新上一基本单位的该增强数据区索引信息中相应时间点的后续增强数据所在的基本单位的标识。
该存储设备还包括数据读取模块64,用于在接收到视频监控数据回放请求后,根据请求回放的视频监控数据的时间信息,确定存储有相应时间单元的基本单位,读取该基本单位基本区中存储的相应时间单元的基本层数据。
对于每个时间单元,通过对应基本单位的基本区的索引信息中的后续增强数据所在的基本单位的标识,从相应基本单位中读取相应时间单元的增强层数据;再通过该增强层数据对应的索引信息中的后续增强数据所在的基本单位的标识,从相应基本单位中读取相应时间单元的增强层数据,以此类推,读取到视频监控数据并返回该数据。
基于与实施例二相同的技术构思,本发明实施例还提供了一种可应用于上述视频监控系统和流程的存储设备。
参见图7,为本发明另一实施例提供的数据存储设备的结构示意图,该存储设备应用于视频监控系统,采用IPSAN存储技术,该存储设备可包括:
数据分区模块71,用于将IPSAN逻辑空间的每个基本单位划分为一个基本数据区和至少一个增强数据区。具体的,基本数据区的空间大于每个增强数据区的空间。
数据存储模块72,用于在接收到视频监控数据时,顺序将各时间单元的视频监控数据,按照基本数据区、各增强数据区的顺序轮流写入相应数据存储区;其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的一个增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写。
索引建立模块73,用于根据视频监控数据存储情况建立索引信息。
具体的,数据存储模块72用于,在需要向基本数据区写入视频监控数据时,若一个基本单位中的基本数据区已经写满,则写入下一个基本单位中的基本数据区;在需要向第N个增强数据区写入视频监控数据时,若一个基本单位中的第N个增强数据区已经写满,则写入下一个基本单位中的第N个增强数据区。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是手机,个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

Claims (16)

1.一种数据存储管理方法,应用于包含有存储设备的视频监控系统,所述存储设备采用IPSAN存储技术,其特征在于,所述存储设备的IPSAN逻辑空间的每个基本单位被划分为一个基本数据区和至少一个增强数据区,该方法包括:
存储设备接收包含有基本层和增强层的视频监控数据,并对于每个时间单元的视频监控数据,将其中的基本层数据写入基本单位中的基本数据区,将各增强层数据写入基本单位中对应的增强数据区;其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写;
所述存储设备根据视频监控数据存储情况建立索引信息;
其中,所述每个基本单位中的基本数据区的空间大于每个增强数据区的空间。
2.如权利要求1所述的方法,其特征在于,所述存储设备将视频监控数据中的基本层数据写入基本单位中的基本数据区,具体为:
所述存储设备在前一个时间单元写入的基本层数据之后写入本时间单元的视频监控数据中的基本层数据;当已经到达当前基本数据区的尾部,且该基本数据区所在的基本单位不是最后一个基本单位时,从下一个基本单位中的基本数据区的头部开始写入;当已经到达最后一个基本单位中的基本数据区的尾部时,从第一个基本单位中的基本数据区的头部开始写入。
3.如权利要求1所述的方法,其特征在于,第N个增强数据区用于存储视频监控数据的第N个增强层数据;所述存储设备将各增强层数据写入基本单位中对应的增强数据区,具体为:
所述存储设备在写入本时间单元的视频监控数据的第N个增强层数据时,在前一个时间单元写入的第N个增强层数据之后写入本时间单元的视频监控数据中的第N个增强层数据;当已经到达当前增强数据区的尾部,且该增强数据区所在的基本单位不是最后一个基本单位时,从下一个基本单位中的第N个增强数据区的头部开始写入;当已经到达最后一个基本单位中的第N个增强数据区的尾部时,从第一个基本单位中对应的增强数据区的头部开始写入。
4.如权利要求1-3之一所述的方法,其特征在于,所述存储设备根据视频监控数据存储情况建立索引信息,包括:
所述存储设备在视频监控数据写入的目标基本数据区和目标增强数据区分别建立索引项,其中包括后续增强数据所在的基本单位的标识、上一基本单位的标识;
对于基本数据区的索引项,所述后续增强数据所在的基本单位的标识,为对应时间单元的第一个增强层数据应写入的目标基本单位的标识;对于增强数据区的索引项,所述后续增强数据所在的基本单位的标识,为对应时间单元的下一个增强层数据应写入的基本单位的标识;
对于基本数据区的索引项,所述上一基本单位的标识,为对应时间单元的上一个时间单元内写入的最后一个增强层数据所在的基本单位的标识;对于增强数据区的索引项,所述上一基本单位的标识,为对应时间单元内写入的上一个增强层数据所在的基本单位的标识。
5.如权利要求4所述的方法,其特征在于,所述存储设备复写增强数据区时,还包括:根据该增强数据区索引信息中的上一基本单位的标识,更新上一基本单位的该增强数据区索引信息中相应时间点的后续增强数据所在的基本单位的标识。
6.如权利要求4所述的方法,其特征在于,该方法还包括:
所述存储设备在接收到视频监控数据回放请求后,根据请求回放的视频监控数据的时间信息,确定存储有相应时间单元的基本单位,读取该基本单位基本区中存储的相应时间单元的基本层数据;
对于每个时间单元,通过对应基本单位的基本区的索引信息中的后续增强数据所在的基本单位的标识,从相应基本单位中读取相应时间单元的增强层数据;再通过该增强层数据对应的索引信息中的后续增强数据所在的基本单位的标识,从相应基本单位中读取相应时间单元的增强层数据,以此类推;
所述存储设备返回读取到的视频监控数据。
7.一种数据存储管理方法,应用于包含有存储设备的视频监控系统,所述存储设备采用IPSAN存储技术,其特征在于,所述IPSAN设备的IPSAN逻辑空间的每个基本单位被划分为一个基本数据区和至少一个增强数据区,该方法包括:
存储设备接收视频监控数据,并顺序将各时间单元的视频监控数据,按照基本数据区、各增强数据区的顺序轮流写入相应数据存储区;其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写;
所述存储设备根据视频监控数据存储情况建立索引信息;
其中,所述每个基本单位中的基本数据区的空间大于每个增强数据区的空间。
8.如权利要求7所述的方法,其特征在于,所述存储设备将各时间单元的视频监控数据,按照基本数据区、各增强数据区的顺序轮流写入相应数据存储区的过程中:
在需要向基本数据区写入视频监控数据时,若一个基本单位中的基本数据区已经写满,则写入下一个基本单位中的基本数据区;
在需要向第N个增强数据区写入视频监控数据时,若一个基本单位中的第N个增强数据区已经写满,则写入下一个基本单位中的第N个增强数据区。
9.一种存储设备,应用于视频监控系统,所述存储设备采用IPSAN存储技术,其特征在于,该存储设备包括:
数据分区模块,用于将IPSAN逻辑空间的每个基本单位划分为一个基本数据区和至少一个增强数据区;
数据存储模块,用于在接收到包含有基本层和增强层的视频监控数据时,对于每个时间单元的视频监控数据,将其中的基本层数据写入基本单位中的基本数据区,将各增强层数据写入基本单位中对应的增强数据区;其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写;
索引建立模块,用于根据视频监控数据存储情况建立索引信息;
其中,所述数据分区模块,具体用于将IPSAN逻辑空间的每个基本单位划分基本数据区的空间大于每个增强数据区的空间。
10.如权利要求9所述的存储设备,其特征在于,所述数据存储模块,具体用于在前一个时间单元写入的基本层数据之后写入本时间单元的视频监控数据中的基本层数据;当已经到达当前基本数据区的尾部,且该基本数据区所在的基本单位不是最后一个基本单位时,从下一个基本单位中的基本数据区的头部开始写入;当已经到达最后一个基本单位中的基本数据区的尾部时,从第一个基本单位中的基本数据区的头部开始写入。
11.如权利要求9所述的存储设备,其特征在于,第N个增强数据区用于存储视频监控数据的第N个增强层数据;
所述数据存储模块,具体用于在写入本时间单元的视频监控数据的第N个增强层数据时,在前一个时间单元写入的第N个增强层数据之后写入本时间单元的视频监控数据中的第N个增强层数据;当已经到达当前增强数据区的尾部,且该增强数据区所在的基本单位不是最后一个基本单位时,从下一个基本单位中的第N个增强数据区的头部开始写入;当已经到达最后一个基本单位中的第N个增强数据区的尾部时,从第一个基本单位中的增强数据区的头部开始写入。
12.如权利要求9-11之一所述的存储设备,其特征在于,所述索引建立模块,具体用于在视频监控数据写入的目标基本数据区和目标增强数据区分别建立索引项,其中包括后续增强数据所在的基本单位的标识、上一基本单位的标识;
对于基本数据区的索引项,所述后续增强数据所在的基本单位的标识,为对应时间单元的第一个增强层数据应写入的目标基本单位的标识;对于增强数据区的索引项,所述后续增强数据所在的基本单位的标识,为对应时间单元的下一个增强层数据应写入的基本单位的标识;
对于基本数据区的索引项,所述上一基本单位的标识,为对应时间单元的上一个时间单元内写入的最后一个增强层数据所在的基本单位的标识;对于增强数据区的索引项,所述上一基本单位的标识,为对应时间单元内写入的上一个增强层数据所在的基本单位的标识。
13.如权利要求12所述的存储设备,其特征在于,所述索引建立模块,还用于复写增强数据区时,根据该增强数据区索引信息中的上一基本单位的标识,更新上一基本单位的该增强数据区索引信息中相应时间点的后续增强数据所在的基本单位的标识。
14.如权利要求12所述的存储设备,其特征在于,还包括数据读取模块,用于在接收到视频监控数据回放请求后,根据请求回放的视频监控数据的时间信息,确定存储有相应时间单元的基本单位,读取该基本单位基本区中存储的相应时间单元的基本层数据;
对于每个时间单元,通过对应基本单位的基本区的索引信息中的后续增强数据所在的基本单位的标识,从相应基本单位中读取相应时间单元的增强层数据;再通过该增强层数据对应的索引信息中的后续增强数据所在的基本单位的标识,从相应基本单位中读取相应时间单元的增强层数据,以此类推,读取到视频监控数据并返回该数据。
15.一种存储设备,应用于视频监控系统,所述存储设备采用IPSAN存储技术,其特征在于,该存储设备包括:
数据分区模块,用于将IPSAN逻辑空间的每个基本单位划分为一个基本数据区和至少一个增强数据区;
数据存储模块,用于在接收到视频监控数据时,顺序将各时间单元的视频监控数据,按照基本数据区、各增强数据区的顺序轮流写入相应数据存储区;其中,当IPSAN逻辑空间的最后一个基本单位中的基本数据区写满后,从该IPSAN逻辑空间的第一个基本单位中的基本数据区开始复写,当IPSAN逻辑空间的最后一个基本单位中的增强数据区写满后,从该IPSAN逻辑空间的第一个基本单位中对应的增强数据区开始复写;
索引建立模块,用于根据视频监控数据存储情况建立索引信息;
其中,所述数据分区模块,具体用于将IPSAN逻辑空间的每个基本单位划分基本数据区的空间大于每个增强数据区的空间。
16.如权利要求15所述的存储设备,其特征在于,所述数据存储模块,具体用于:
在需要向基本数据区写入视频监控数据时,若一个基本单位中的基本数据区已经写满,则写入下一个基本单位中的基本数据区;
在需要向第N个增强数据区写入视频监控数据时,若一个基本单位中的第N个增强数据区已经写满,则写入下一个基本单位中的第N个增强数据区。
CN201110458153.7A 2011-12-31 2011-12-31 一种数据存储管理方法及其设备 Active CN102595085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110458153.7A CN102595085B (zh) 2011-12-31 2011-12-31 一种数据存储管理方法及其设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110458153.7A CN102595085B (zh) 2011-12-31 2011-12-31 一种数据存储管理方法及其设备

Publications (2)

Publication Number Publication Date
CN102595085A CN102595085A (zh) 2012-07-18
CN102595085B true CN102595085B (zh) 2015-05-20

Family

ID=46483247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110458153.7A Active CN102595085B (zh) 2011-12-31 2011-12-31 一种数据存储管理方法及其设备

Country Status (1)

Country Link
CN (1) CN102595085B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986757B (zh) * 2014-05-09 2017-12-15 浙江宇视科技有限公司 一种块存储录像的分布式备份方法和系统
CN107124571B (zh) * 2017-04-14 2020-01-14 浙江宇视科技有限公司 录像存储方法及装置
CN107870973B (zh) * 2017-09-20 2021-11-26 广东东为信息技术有限公司 一种加快多路监控同时回放的文件存储系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1472963A (zh) * 2002-07-30 2004-02-04 深圳市中兴通讯股份有限公司 分布式视频点播系统及其实现数据存储和访问的方法
US20060001663A1 (en) * 2004-06-21 2006-01-05 Ruttenberg Brian E Efficient use of a render cache
CN1878301A (zh) * 2006-07-19 2006-12-13 杭州华为三康技术有限公司 一种视频监控数据存储管理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1472963A (zh) * 2002-07-30 2004-02-04 深圳市中兴通讯股份有限公司 分布式视频点播系统及其实现数据存储和访问的方法
US20060001663A1 (en) * 2004-06-21 2006-01-05 Ruttenberg Brian E Efficient use of a render cache
CN1878301A (zh) * 2006-07-19 2006-12-13 杭州华为三康技术有限公司 一种视频监控数据存储管理方法及系统

Also Published As

Publication number Publication date
CN102595085A (zh) 2012-07-18

Similar Documents

Publication Publication Date Title
CN101321265B (zh) 对等网络媒体点播跨帧播放方式的实现方法及系统
CN101877783B (zh) 网络视频存储器集群化视频监控系统和方法
CN100556114C (zh) 一种媒体分片存储的方法
CN102520883B (zh) 一种数据存取方法及其装置
CN105338297B (zh) 一种视频数据存储及回放系统、装置和方法
CN102968422B (zh) 流数据存储控制系统及其方法
CN105100716B (zh) 一种用于网络视频监控的安全存储单元及其系统
CN103929609A (zh) 一种录像回放方法和装置
CN102999442B (zh) 面向媒体应用的存储系统及方法
CN110489484B (zh) 数据同步方法、装置、可读存储介质及电子设备
CN101008919A (zh) 基于裸设备的音视频数据存取方法和装置
US8860820B2 (en) Video recording system, method, and computer program for memory space distribution in a video recording system
CN110545405B (zh) 一种基于视联网的视频传输方法及系统
CN102595085B (zh) 一种数据存储管理方法及其设备
CN104469391A (zh) 一种基于云平台的数字电视内容分发系统及方法
CN108881942A (zh) 一种基于分布式对象存储的超融合常态录播系统
KR101743411B1 (ko) 데이터 액세스 방법 및 장치
CN107484011A (zh) 一种视频资源解码方法及装置
WO2006080561A3 (en) Information storage medium, method and apparatus for reproducing information from the information storage medium and a recording apparatus and recording method for recording video data on the information storage medium
CN102883143B (zh) 一种调整raid阵列缓存的方法
CN103034457B (zh) 多个硬盘组成的存储系统数据存储方法
CN202276424U (zh) 一种监控集中存储系统
CN109802990B (zh) 一种减少数据冗余的资源日志读写方法和装置
CN101945271A (zh) 图像压缩系统及压缩方法
CN103167319B (zh) 一种流媒体的传送处理方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No.

Patentee after: Xinhua three Technology Co., Ltd.

Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base

Patentee before: Huasan Communication Technology Co., Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180719

Address after: 450000 Grand View B18 building, 166 Du Ying Street, hi tech Industrial Development Zone, Zhengzhou, Henan

Patentee after: Xinhua three major data Technology Co., Ltd.

Address before: 310052 Changhe Road, Binjiang District, Hangzhou, Zhejiang Province, No. 466

Patentee before: Xinhua three Technology Co., Ltd.