CN101324898A - 一种基于文件属性的快速检索、恢复方法 - Google Patents
一种基于文件属性的快速检索、恢复方法 Download PDFInfo
- Publication number
- CN101324898A CN101324898A CNA2008101177465A CN200810117746A CN101324898A CN 101324898 A CN101324898 A CN 101324898A CN A2008101177465 A CNA2008101177465 A CN A2008101177465A CN 200810117746 A CN200810117746 A CN 200810117746A CN 101324898 A CN101324898 A CN 101324898A
- Authority
- CN
- China
- Prior art keywords
- data
- metadata
- district
- retrieval
- clustered index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于数据存储和数据检索技术领域,特别是指一种可以基于流媒体中的视频文件多种属性进行快速检索和数据定位的检索、恢复方法。本发明包括:对存储设备进行数据划分和创建;检索并获得文件数据;元数据的快速恢复。本发明的优点在于:在大容量的流媒体视频、音频文件存储空间中,本发明可以进行多条件的文件检索,它具有检索手段多、速度快、准确的优点,并可在出现故障或突然停电的情况下,快速地对大容量的存储空间进行恢复。
Description
技术领域
本发明属于数据存储和数据检索技术领域,特别是指一种可以基于流媒体中的视频文件多种属性进行快速检索和数据定位的检索、恢复方法。
背景技术
在处理流媒体中的视频文件的存储、检索过程中,传统的计算机文件系统的文件存储、检索功能存在有大量的局限性。它主要表现在用户必须人为组织目录,并在基于文件属性的查询中采用遍历元数据的方法。
在目前针对流媒体中的视频文件的存储、检索而大量应用的硬盘嵌入式DVR设备中,传统的计算机文件系统面对要进行基于流媒体中的视频文件多种属性进行快速检索任务,特别是同时进行多检索条件下的组合检索操作。例如,针对视频文件的时间属性、地点属性、性质属性等进行动态的组合检索,传统的计算机文件系统就显得力不从心。当用户变更了检索条件或对检索结果重新进行排序时,传统计算机文件系统的检索过程需要重新进行元数据遍历的过程,使得整个检索时间拖的十分长,不利于用户的操作使用。
另外,在传统的计算机文件系统工作中,如系统出现故障或者掉电的情况下,由于记录在硬盘中的数据的元数据没有进行更新,所以会出现文件丢失的情况;即使通过恢复的手段,也需要进行全盘扫描的方式进行元数据重建。由于硬盘嵌入式DVR设备中的硬盘容量是非常大的,所以要进行全盘扫描就需要相当长的时间。
在硬盘嵌入式DVR设备中如果使用传统的计算机文件系统,用户在进行检索后,检索所获得的文件路径和目录对于用户没有什么参考价值,文件路径和目录并不能反映出检索想要获得的大概信息,用户只有通过真实打开文件才能确切了解文件记录内容。
发明内容
本发明的目的在于克服背景技术的不足而提供一种基于文件属性的快速检索、恢复方法。
本发明的技术方案是:
一种基于文件属性的快速检索、恢复方法,其步骤如下:
(1)、对存储设备进行数据划分和创建:
A、存储设备的线性存储区域划分,对计算机或硬盘嵌入式DVR中的存储设备将所有存储空间进行串联,构成一个大容量硬盘的线性存储区域,存储区域包含有记录的数据和索引相关数据的元数据;
B、数据的创建,元数据包括:
存储在线性存储区最前端的元数据1区,由非聚簇索引结构组成;
紧邻元数据1区的元数据2区,由聚簇索引结构组成;
间隔分布在数据间的分布元数据区;
(2)、检索并获得文件数据:
根据检索条件即文件属性对元数据1区即非聚簇索引区进行组合检索,获得相关文件名;
根据非聚簇索引组合检索获得的文件名和用户所需要的确切数据段,在数据2区即聚簇索引区进行定位,获得用户所需的数据的具体位置;
根据在数据2区即聚簇索引区进行定位获得的数据具体位置,直接获得所需要的数据;
(3)、元数据的快速恢复:
在非聚簇索引区获得需要恢复的文件内容;
在聚簇索引区中定位最后一个有效的聚簇索引元数据;
定位最后一个有效的元数据指示的数据区域;
根据分布在最后的有效数据区中的元数据进行间跳扫描,即判断下一个数据块是否有效;如果有效,进行再次扫描,直至判断下一个数据块为无效,则完成元数据的快速恢复。
本发明的优点在于:在大容量的流媒体视频、音频文件存储空间中,本发明可以进行多条件的文件检索,它具有检索手段多、速度快、准确的优点,并可在出现故障或突然停电的情况下,快速地对大容量的存储空间进行恢复。
附图说明
图1为本发明对存储设备进行数据划分和设定示意图。
图2为本发明检索流程图。
图3为本发明元数据快速恢复流程图。
具体实施方式
本发明对存储设备进行数据划分和设定示意图,如图1所示,存储设备的线性存储区域划分,对计算机或硬盘嵌入式DVR中的存储设备将所有存储空间进行串联,构成一个大容量硬盘的线性存储区域,存储区域包含有记录的数据和索引相关数据的元数据;
B、数据的创建,元数据包括:
存储在线性存储区最前端的元数据1区,由非聚簇索引结构组成;
紧邻元数据1区的元数据2区,由聚簇索引结构组成;
间隔分布在数据间的分布元数据区;
本发明所述的检索、恢复方法的实现主要基于元数据的特殊组成,本发明对存储设备进行数据划分和设定示意图,如图1所示,其中,1为存储设备线性存储区(例如:硬盘设备从最小扇区到最大扇区的串联);2为元数据1区即采用非聚簇索引;3为元数据2区采用聚簇索引;4为分布元数据区;5为数据区。
存储设备线性存储区1是将存储设备的物理特征进行抽象,使其构成一个大的线性存储区(例如:将硬盘从最小扇区开始,直到最大扇区,将所有存储空间进行串联操作,构成一个大容量的线性存储区域);存储设备线性存储区1包含有记录的数据区5和索引即元数据1区、元数据2区、分布元数据区为4。
本发明的方法步骤如下:
(1)、对存储设备进行数据划分和创建:
A、存储设备的线性存储区域1的划分,对计算机或硬盘嵌入式DVR中的存储设备将所有存储空间进行串联,构成一个大容量硬盘的线性存储区域1,存储区域1包含有记录的数据和索引相关数据的元数据;
B、数据的创建,元数据包括三部分,第一部分为存储在线性存储区1最前端的元数据1区2,由非聚簇索引结构组成,功能在于加速基于文件属性的检索,第二部分为紧邻元数据1区的元数据2区3,由聚簇索引结构组成,功能在于加速文件的数据定位,第三部分为分布在数据区5中间的分布元数据区4,该区主要是为了掉电后的数据恢复;
(2)检索并获得文件数据:
C、第一步根据检索条件即文件属性对元数据1区2即非聚簇索引区进行组合检索,获得相关文件名;
D、第二步根据非聚簇索引组合检索获得的文件名和用户所需要的确切数据段,在数据2区3即聚簇索引区进行定位,获得用户所需的数据的具体位置;
E、第三步根据在数据2区3即聚簇索引区进行定位获得的数据具体位置,直接获得所需要的数据;
(3)、元数据的快速恢复:
F、在元数据1区2非聚簇索引区获得需要恢复的文件内容;
G、在数据2区3聚簇索引区中定位最后一个有效的聚簇索引元数据;
H、定位最后一个有效的元数据指示的数据区域;
I、根据分布在最后的有效数据区中的元数据进行间跳扫描,即判断下一个数据块是否有效;如果有效,进行再次扫描,直至判断下一个数据块为无效,则完成元数据的快速恢复。
Claims (1)
1、一种基于文件属性的快速检索、恢复方法,其特征在于:它包括以下方法步骤:
(1)、对存储设备进行数据划分和创建:
A、存储设备的线性存储区域划分,对计算机或硬盘嵌入式DVR中的存储设备将所有存储空间进行串联,构成一个大容量硬盘的线性存储区域,存储区域包含有记录的数据和索引相关数据的元数据;
B、数据的创建,元数据包括三部分,第一部分为存储在线性存储区最前端的元数据1区,由非聚簇索引结构组成,第二部分为紧邻元数据1区的元数据2区,由聚簇索引结构组成,第三部分为间隔分布在数据间的分布元数据区;
(2)、检索并获得文件数据:
C、第一步根据检索条件即文件属性对元数据1区即非聚簇索引区进行组合检索,获得相关文件名;
D、第二步根据非聚簇索引组合检索获得的文件名和用户所需要的确切数据段,在数据2区即聚簇索引区进行定位,获得用户所需的数据的具体位置;
E、第三步根据在数据2区即聚簇索引区进行定位获得的数据具体位置,直接获得所需要的数据;
(3)、元数据的快速恢复:
F、在非聚簇索引区获得需要恢复的文件内容;
G、在聚簇索引区中定位最后一个有效的聚簇索引元数据;
H、定位最后一个有效的元数据指示的数据区域;
I、根据分布在最后的有效数据区中的元数据进行间跳扫描,即判断下一个数据块是否有效;如果有效,进行再次扫描,直至判断下一个数据块为无效,则完成元数据的快速恢复。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2008101177465A CN101324898A (zh) | 2008-08-05 | 2008-08-05 | 一种基于文件属性的快速检索、恢复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2008101177465A CN101324898A (zh) | 2008-08-05 | 2008-08-05 | 一种基于文件属性的快速检索、恢复方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101324898A true CN101324898A (zh) | 2008-12-17 |
Family
ID=40188437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2008101177465A Pending CN101324898A (zh) | 2008-08-05 | 2008-08-05 | 一种基于文件属性的快速检索、恢复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101324898A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101547360B (zh) * | 2009-05-08 | 2010-11-10 | 南京师范大学 | 可定位视频文件格式及该格式文件数据的采集方法 |
WO2011066691A1 (en) * | 2009-12-04 | 2011-06-09 | Streamocean, Inc. | System and method to deliver multimedia content for display through network |
CN102708633A (zh) * | 2012-04-12 | 2012-10-03 | 福建联迪商用设备有限公司 | 在pos机上实现快速定位挂失卡号的方法 |
CN101872639B (zh) * | 2010-01-11 | 2013-02-13 | 杭州海康威视数字技术股份有限公司 | 在数字硬盘录像机上存储及检索图片数据的方法及装置 |
US8805855B2 (en) | 2012-08-17 | 2014-08-12 | International Business Machines Corporation | Efficiently storing and retrieving data and metadata |
CN105243071A (zh) * | 2014-07-12 | 2016-01-13 | 航天恒星科技有限公司 | 一种适用于无文件系统的可检索文件存取方法 |
CN105335475A (zh) * | 2015-09-30 | 2016-02-17 | 中国科学院计算技术研究所 | 一种基于流式数据的局部性非聚簇索引方法及系统 |
WO2016192375A1 (zh) * | 2015-06-03 | 2016-12-08 | 杭州海康威视数字技术股份有限公司 | 存储设备及基于该存储设备的分块存储方法 |
CN108566397A (zh) * | 2018-04-19 | 2018-09-21 | 国网黑龙江省电力有限公司电力科学研究院 | 面向数据恢复业务的专用远程数据传输系统及传输方法 |
-
2008
- 2008-08-05 CN CNA2008101177465A patent/CN101324898A/zh active Pending
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101547360B (zh) * | 2009-05-08 | 2010-11-10 | 南京师范大学 | 可定位视频文件格式及该格式文件数据的采集方法 |
WO2011066691A1 (en) * | 2009-12-04 | 2011-06-09 | Streamocean, Inc. | System and method to deliver multimedia content for display through network |
US8935363B2 (en) | 2009-12-04 | 2015-01-13 | Streamocean, Inc. | System and method for delivering multimedia content for playback through network |
CN101872639B (zh) * | 2010-01-11 | 2013-02-13 | 杭州海康威视数字技术股份有限公司 | 在数字硬盘录像机上存储及检索图片数据的方法及装置 |
CN102708633B (zh) * | 2012-04-12 | 2015-05-13 | 福建联迪商用设备有限公司 | 在pos机上实现快速定位挂失卡号的方法 |
CN102708633A (zh) * | 2012-04-12 | 2012-10-03 | 福建联迪商用设备有限公司 | 在pos机上实现快速定位挂失卡号的方法 |
US9569518B2 (en) | 2012-08-17 | 2017-02-14 | International Business Machines Corporation | Efficiently storing and retrieving data and metadata |
US9043341B2 (en) | 2012-08-17 | 2015-05-26 | International Business Machines Corporation | Efficiently storing and retrieving data and metadata |
US8805855B2 (en) | 2012-08-17 | 2014-08-12 | International Business Machines Corporation | Efficiently storing and retrieving data and metadata |
CN105243071A (zh) * | 2014-07-12 | 2016-01-13 | 航天恒星科技有限公司 | 一种适用于无文件系统的可检索文件存取方法 |
WO2016192375A1 (zh) * | 2015-06-03 | 2016-12-08 | 杭州海康威视数字技术股份有限公司 | 存储设备及基于该存储设备的分块存储方法 |
CN106294193A (zh) * | 2015-06-03 | 2017-01-04 | 杭州海康威视系统技术有限公司 | 存储设备及基于该存储设备的分块存储方法 |
CN106294193B (zh) * | 2015-06-03 | 2019-10-15 | 杭州海康威视系统技术有限公司 | 存储设备及基于该存储设备的分块存储方法 |
US10565075B2 (en) | 2015-06-03 | 2020-02-18 | Hangzhou Hikvision Digital Technology Co., Ltd. | Storage device and block storage method based on the storage device |
CN105335475A (zh) * | 2015-09-30 | 2016-02-17 | 中国科学院计算技术研究所 | 一种基于流式数据的局部性非聚簇索引方法及系统 |
CN105335475B (zh) * | 2015-09-30 | 2018-07-10 | 中国科学院计算技术研究所 | 一种基于流式数据的局部性非聚簇索引方法及系统 |
CN108566397A (zh) * | 2018-04-19 | 2018-09-21 | 国网黑龙江省电力有限公司电力科学研究院 | 面向数据恢复业务的专用远程数据传输系统及传输方法 |
CN108566397B (zh) * | 2018-04-19 | 2020-12-01 | 国网黑龙江省电力有限公司电力科学研究院 | 面向数据恢复业务的专用远程数据传输系统及传输方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101324898A (zh) | 一种基于文件属性的快速检索、恢复方法 | |
CN1146906C (zh) | 记录和重放装置及记录方法 | |
CN100512409C (zh) | 数据处理装置和数据处理方法 | |
CN101937377B (zh) | 数据恢复方法和装置 | |
CN111506251B (zh) | 数据处理方法、装置、smr存储系统及存储介质 | |
CN101446984B (zh) | 一种文件存储方法、装置及文件删除方法和装置 | |
JP2006313548A (ja) | ファイルシステムに追加情報を保存して管理する装置及び方法 | |
CN1609984A (zh) | 记录数据和恢复记录数据的方法和设备 | |
US20100228736A1 (en) | Recognizing a disc | |
JP2007504566A5 (zh) | ||
CN104281651A (zh) | 一种海量视频数据检索的方法及其系统 | |
US20170084309A1 (en) | Video file creation device and video file creation method | |
AU2004302355A1 (en) | Reproducing apparatus, method and program | |
US20100228704A1 (en) | Recognizing a disc | |
CN104270605A (zh) | 一种视频监控数据的处理方法及装置 | |
US20120213043A1 (en) | Information processing apparatus, information processing method, and program | |
CN102609531A (zh) | 一种根据关键字反查文件的方法 | |
EP1591927A2 (en) | Method, recording medium, and apparatus for correcting the LastURL field in an MPV file | |
US20070250533A1 (en) | Method, Apparatus, System, and Computer Program Product for Generating or Updating a Metadata of a Multimedia File | |
WO2001027860A3 (en) | Data recovery method, said method stored on computer readable medium, and remote data control method and system | |
CN102572293A (zh) | 一种基于场记的检索系统 | |
JP2008054312A (ja) | 複数のメディアデバイスへのアクセスを統合する層を有するマルチメディアシステムのフレームワーク | |
US8037099B2 (en) | Information-recording/reproduction apparatus, information-recording/reproduction methods, program-storing medium and programs | |
CN101980198B (zh) | 一种实现k歌随身带的方法 | |
CN101256566B (zh) | 具有统一访问多个媒体设备的层的多媒体系统框架 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20081217 |