CN102314383B - 数据索引的故障恢复方法和装置 - Google Patents

数据索引的故障恢复方法和装置 Download PDF

Info

Publication number
CN102314383B
CN102314383B CN201110297834XA CN201110297834A CN102314383B CN 102314383 B CN102314383 B CN 102314383B CN 201110297834X A CN201110297834X A CN 201110297834XA CN 201110297834 A CN201110297834 A CN 201110297834A CN 102314383 B CN102314383 B CN 102314383B
Authority
CN
China
Prior art keywords
data
index
block space
storage
directory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110297834XA
Other languages
English (en)
Other versions
CN102314383A (zh
Inventor
陈晓亮
石玉清
钟超
李占军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN201110297834XA priority Critical patent/CN102314383B/zh
Publication of CN102314383A publication Critical patent/CN102314383A/zh
Priority to PCT/CN2012/081176 priority patent/WO2013044726A1/zh
Application granted granted Critical
Publication of CN102314383B publication Critical patent/CN102314383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1435Saving, restoring, recovering or retrying at system level using file system or storage system metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本发明提供一种数据索引的故障恢复方法和装置,其中方法包括:扫描所述块空间的头部预留区域,获取存储在所述头部预留区域中的备份索引,所述备份索引至少包括所述块空间中的存储数据的数据标识、以及所述存储数据在所述块空间中的存储地址信息;生成数据索引,所述数据索引至少包括所述备份索引。本发明的数据索引的故障恢复方法和装置,通过在数据盘的块空间中存储备份索引,可以根据该备份索引快速恢复数据索引,解决了数据索引恢复时间较长的问题,大大提高了数据索引的恢复速度。

Description

数据索引的故障恢复方法和装置
技术领域
本发明涉及通信技术,特别涉及一种数据索引的故障恢复方法和装置。
背景技术
在数据存储中,通常是将数据存储在磁盘上,并存储对应的数据索引以方便从磁盘上查找需要的数据。例如,在视频监控系统中,录像数据存放在数据盘,具体存放在该数据盘上的多个块空间中;录像数据对应的数据索引存放在安装操作系统的系统盘;视频监控系统一般都是7×24小时不间断运行,会对系统盘长时间频繁读写,极易造成系统盘故障,进而导致数据索引丢失。由此造成的后果是,一旦数据索引丢失,用户将无法查找数据盘上的录像数据,等同于数据盘上的录像数据丢失,从而会引起系统严重故障,给用户造成巨大损失。
现有技术中,目前常用的针对系统盘故障的补救方法是,以视频监控系统为例,读取数据盘上的录像数据,根据该录像数据逐步分析并反推出数据索引,以使得在更换新的系统盘后,可以将数据索引恢复到新的系统盘上继续使用。但是,这种方法必须将所有数据盘上的录像数据全部遍历一次,才能完整恢复出对应该数据的数据索引;当数据盘上的数据量极大时,恢复方法可能耗时很长,同时,在数据索引的恢复过程中,视频监控服务不能启动,业务会长时间中断。
发明内容
本发明的目的是提供一种数据索引的故障恢复方法和装置,以实现快速恢复系统盘上的数据索引。
本发明提供一种数据索引的故障恢复方法,所述数据索引用于标识存储数据在至少一个数据盘的存储位置信息,所述数据盘包括至少一个用于放置所述存储数据的块空间;所述故障恢复方法包括:
扫描所述块空间的头部预留区域,获取存储在所述头部预留区域中的备份索引,所述备份索引至少包括所述块空间中的存储数据的数据标识、以及所述存储数据在所述块空间中的存储地址信息;
生成数据索引,所述数据索引至少包括所述备份索引。
本发明提供一种数据索引的故障恢复装置,包括:
备份获取单元,用于扫描数据盘中的块空间的头部预留区域,并获取存储在所述头部预留区域中的备份索引,所述备份索引至少包括所述块空间中的存储数据的数据标识、以及所述存储数据在所述块空间中的存储地址信息;其中,所述存储数据存储在至少一个数据盘上,且每一所述数据盘包括至少一个用于放置所述存储数据的块空间;
索引恢复单元,用于生成标识存储数据在至少一个数据盘的存储位置信息的数据索引,所述数据索引至少包括所述备份索引。
本发明的数据索引的故障恢复方法和装置,通过在数据盘的块空间中存储备份索引,可以根据该备份索引快速恢复数据索引,解决了数据索引恢复时间较长的问题,大大提高了数据索引的恢复速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明数据索引的故障恢复方法一实施例的流程示意图;
图2为本发明数据索引的故障恢复方法另一实施例的应用场景示意图;
图3为本发明数据索引的故障恢复方法另一实施例的流程示意图;
图4为本发明数据索引的故障恢复方法另一实施例的原理示意图;
图5为本发明数据索引的故障恢复装置实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使得下面的本发明实施例对数据索引故障恢复方法的说明更加清楚,首先对实施例中所提到的几个概念进行说明如下:数据索引是用于标识存储数据在数据盘上的存储位置信息的,其中,数据盘上的数据可以称为存储数据,所述的数据盘包括至少一个用于放置所述存储数据的块空间,块空间是在数据盘上预先分配好的固定大小的空间。用户可以根据数据索引,得到数据的存储位置,从而可以快速查找到所需的数据。
为了方便说明,本发明实施例以视频监控系统为例,但本领域人员应该知道,本发明实施例同样可以应用于其他存储系统。
实施例一
图1为本发明数据索引的故障恢复方法一实施例的流程示意图,如图1所示,该方法可以包括:
101、扫描数据盘上的块空间的头部预留区域,获取存储在头部预留区域中的备份索引;
其中,需要对放置有存储数据的各个数据盘的块空间进行扫描;具体实施中,可以按序逐个扫描每个数据盘、以及块空间。
所述的块空间中存储有头部预留区域,该头部预留区域通常在块空间中都会设置,只是目前利用率还较低,尚有多余空间;例如,块空间的大小一般为1M,实际只利用了其中的大约20字节的空间,用于放置表示该块空间所属的摄像机等信息。本实施例在该头部预留区域中放置了备份索引。该备份索引至少包括该块空间中放置的存储数据的数据标识、以及存储数据在块空间中的存储地址信息。通过将备份索引设置在块空间的头部区域,可以在对数据盘进行扫描时快速获取备份索引,提高索引恢复的效率。
例如,以视频监控系统为例,所述的存储数据为录像数据,所述的存储数据的数据标识是用于将该条存储数据与其他存储数据区分开的,例如,数据盘的块空间中存储有某1个小时内的所有录像视频,并且是存储有对应于其中每一秒的录像视频,共3600条存储数据,则为了区分所有数据,可以定义数据标识为录像视频所对应的时间(如2011年1月1日12点3分5秒),则可以将所述的3600条存储数据区分开;所述的存储数据在块空间中的存储地址信息指的是在块空间中的物理存储地址(如设置在块空间的第11字节至第28字节)。
其中,该备份索引是在存储数据并生成数据对应的数据索引之后,根据数据索引生成的。例如,将12点3分5秒的视频数据存储在了数据盘A中的块空间a中的第11字节至第28字节,则据此生成的与该视频数据对应的数据索引可以包括12点3分5秒、数据盘A、块空间a、第11字节(起始地址)、第28字节(结束地址)等,该数据索引表示视频数据的存储位置信息。
在根据上述数据索引生成备份索引时,备份索引与数据索引可以相同也可以不同;例如,可以直接将所述的数据索引作为备份数据;也可以仅提取数据索引中的部分信息作为备份索引,但至少应包括12点3分5秒、第11字节(起始地址)、第28字节(结束地址);而数据盘A、块空间a这些信息也可以在上述扫描数据盘的块空间的过程中获取得到。
102、生成数据索引,所述数据索引至少包括所述备份索引;
其中,在101中扫描获取到备份索引后,可以根据该备份索引得到数据索引。例如,若仅提取数据索引中的部分信息作为备份索引时,如101中的举例所述,备份索引中仅包括12点3分5秒、第11字节(起始地址)、第28字节(结束地址);则在据此恢复生成数据索引时,具体是在扫描获取备份索引的过程中,就可以得到该备份索引所在的块空间的块空间标识(块空间a)、以及该块空间所在的数据盘的数据盘标识(数据盘A),这些信息属于数据盘的属性信息,在对数据盘进行扫描时是可以获取到的。可以将扫描获取的上述备份索引、块空间标识、数据盘标识等信息组合而成数据索引。
例如,若直接将数据索引作为备份数据,则在该102中可以直接将备份索引作为数据索引。该数据索引中还可以包括索引标识项等其他信息,该索引标识项用于标识索引是否有效,不过在执行该102时,通常认为索引有效。
与现有技术相比,现有技术中只有通过扫描块空间中的所有存储数据,才可以得到数据在块空间中的存储地址信息,而本实施例中,通过在块空间中存储备份索引,并且该备份索引中包括了存储数据的数据标识、以及存储数据在块空间中的存储地址信息,使得在进行数据索引的恢复时,可以不需要再扫描整个块空间中的所有的存储数据,仅仅扫描该备份索引所在的头部预留区域即可得到上述信息,从而大大减少了扫描时间,提高了数据索引恢复的效率。而且,备份数据在块空间中所占用的头部预留区域通常空间很小,数据盘仅付出了极少的空间代价,却换取了故障恢复时间的大幅减少,使得视频监控系统中的时间效率和空间效率得到很好的平衡。
此外,本实施例通过将备份索引分散存储在数据盘的各个块空间中,并且所述块空间中的备份索引是与该块空间中存储的数据对应的,使得即使数据盘发生部分损坏,只要某个块空间中的数据及其对应的索引未损坏,就可以恢复该块空间中的数据,从而相对于集中存放整个数据盘的所有索引的方式,大大提高了数据存储的安全性。
本发明实施例中,备份索引分散地存储于各个块空间的头部,相较于集中存放在数据磁盘中的方式,例如专门开一个文件夹来放置这些文件,其数据安全性更高。因为备份索引集中某一存储区域后,一旦出现损坏或数据丢失,可能造成所有数据无法恢复。另外,集中存储的方式如果需要定期将这些索引备份,间隙会比较大,比如每小时备份一次,难以做到实时备份,而本发明实施例分散式存储方法,可以大大缩小这个时间间隙。
本实施例的数据索引的故障恢复方法,通过在数据盘的块空间中存储备份索引,可以根据该备份索引快速恢复数据索引,解决了数据索引恢复时间较长的问题,大大提高了数据索引的恢复速度。
实施例二
本实施例以视频监控系统的数据索引恢复为例,对本发明的故障恢复方法进行说明。但是本发明的故障恢复方法不局限于视频监控领域,可以适用于所有需要对关键数据进行特殊保护的应用场合,可以提高数据安全性和故障恢复速度。
图2为本发明数据索引的故障恢复方法另一实施例的应用场景示意图,如图2所示,磁盘1~磁盘N代表数据盘,用于保存录像数据;操作系统、数据库均安装在系统盘上,并且该系统盘上还存储有用于查找数据盘上的录像数据的数据索引;存储服务器可以接收录像数据的数据流,并将数据流经系统盘存储至数据盘中。本实施例的方法可以是该存储服务器所执行。
图3为本发明数据索引的故障恢复方法另一实施例的流程示意图,如图3所示,该方法可以包括:
301、存储服务器将存储数据放入数据盘的块空间,并生成存储数据对应的数据索引;
其中,所述的存储数据指的是录像数据;存储数据在数据盘上是按块存放的,数据盘上例如可以设置多个块空间,每个块空间的大小为1GB。当某个块空间的录像数据存满时,将自动切换到另外一个空闲的块空间继续存储。
此外,由于存储数据一般是放置在多个数据盘上,而且数据盘上的块空间也较多,为方便后续对数据的查找获取,通常会在对数据进行存储时也相应生成该数据的数据索引。例如,本实施例中的存储服务器在向数据盘中存储录像数据时,可以同时在系统盘中生成对应的数据索引,该数据索引可以包括数据标识、数据在数据盘的存储位置信息等。
具体的,图4为本发明数据索引的故障恢复方法另一实施例的原理示意图,如图4所示,例如,数据盘A上设置有n个块空间,其中在块空间a中存储了n秒的录像数据;这n秒的录像数据在存储时所初始生成的数据索引中共包括n个分别对应每一秒录像数据的索引,例如图4中所示的第1秒录像数据的数据索引、第2秒录像数据的数据索引等,该n个数据索引具有相同的格式,其中包括多个索引项,例如可以包括时间、数据盘号、块空间号、起始地址、结束地址、索引标识项(isDummy)、保留字段等。
其中,时间为录像数据的录像时间,如2011年1月1日12点3分5秒,作为录像数据的数据标识;存储位置信息可以包括数据盘号、块空间号、起始地址、结束地址;所述的数据盘号为数据盘标识,所述的块空间号为数据盘上的块空间标识,起始地址、结束地址为数据在块空间中的物理存储地址,例如,存储位置信息可以为数据盘A上的块空间a的第11字节至第28字节。索引标识项是用于标识索引是否有效的标识,例如可以设置“1”表示有效,即可以利用该索引查找到对应的录像数据,“0”表示无效;保留字段是用于以后扩展用的,在暂无用到的情况下可以先填为0。
具体实施中,可以间隔一段时间向数据盘存储一次;例如存储服务器在接收到录像数据后,可以先将数据存储在缓存中,然后经过例如4秒钟的缓存时间后再将这段时间内的数据统一存入数据盘中,并且生成数据索引,该数据索引可以是与每秒的数据对应的,例如第1秒录像数据的数据索引、第2秒录像数据的数据索引等。
302、存储服务器根据数据索引得到备份索引,并将备份索引存储在块空间的头部预留区域内;
其中,本实施例的存储服务器在301中生成数据索引后,可以根据该数据索引得到备份索引,并将备份索引存储至块空间的头部预留区域。
具体的,该备份索引是对数据索引进行备份的,可以将301中生成的数据索引直接作为备份索引,或者也可以只选择其中的一部分内容组成备份索引;具体选择全部备份还是部分备份可以根据实际情况进行选择,例如根据码流速度,码流速度越低,则填充完一个块空间所需要的时间就越长,若需要记录对应每一秒录像数据的数据索引,那么数据索引的数量就越多,数据索引占用的块空间区域就越大,而块空间的头部预留区域是一定的,则此时若仍然以数据索引的全部内容进行备份,有可能块空间的头部预留区域无法放置,则可以选择部分备份;相反的,码流速度越高,则填充完一个块空间所需要的时间就越短,数据索引占用的块空间区域就越小,此时可以选择全部备份。在具体实施中,对备份方式不做严格限制。
例如,本实施例的备份索引对301中的数据索引进行了精简,从中选择部分内容进行备份;该备份索引中至少包括块空间中的存储数据的数据标识、以及存储数据在块空间中的存储地址信息,该存储地址信息包括在块空间中存储的起始地址和结束地址。至少包括上述信息是因为,现有技术中在对数据索引进行故障恢复时之所以要耗费很长时间,是因为需要对数据盘的块空间进行全部扫描,以确定数据在块空间的具体物理存储地址,这是耗时的主要原因,因此,在备份时需要将数据在块空间的存储地址信息保存下来,在进行索引恢复时就不再需要进行块空间的全部扫描;而对于数据盘号和块空间号,这是数据盘本身所记录的一些属性信息,可以在扫描数据盘时很容易的获取。
此外,还可以包括索引标识项,该索引标识项的作用举例说明如下,假设有摄像机录像1小时,每一秒存储一条记录,共3600条记录,该3600条记录中例如其中的1800条为有效录像,另外1800条为无效录像,则对应有效记录的索引标识项可以设置为1,对应无效记录的索引标识项可以设置为0;在进行备份时,可以只备份有效记录即上述的1800条,此时,索引标识项可以备份也可以不备份,如果备份则设置为有效标识1;但是,这种情况下在后续进行索引恢复时,必须恢复索引标识项对有效记录和无效记录进行区分,因为在恢复时是需要恢复为3600条记录的,从备份恢复的记录为有效,需要设置索引标识项进行标识,另外恢复的记录为无效,也需要索引标识项进行标识。保留字段不是必须的。
此外,本实施例还对索引项“时间”的占用空间进行了缩减,“时间”在现有技术中占用8个字节,属于冗余设计,而实际只需要4个字节即可,因此本实施例在设计备份索引时,将“时间”的占用空间设计为4个字节;起始地址和结束地址与原来保持一致,各占用4个字节。本实施例的备份索引,在进行上述的精简后,大小只有12个字节,相对于现有技术的24字节的数据索引,占用空间减少了50%,大大节省了所占用的块空间。
本实施例将备份索引存储在块空间的头部预留区域中。在每一个块空间的头部区域都预留有一小部分空间,该空间称为头部预留区域;对应于该块空间中的存储数据的备份索引都可以存储在该头部预留区域中。例如,块空间a中存储了从第1秒至第n秒的录像数据,则在该块空间a的头部预留区域中,存储了对应于上述的从第1秒至第n秒录像数据的备份索引,包括第1秒的备份索引、第2秒的备份索引……直至第n秒。但是备份索引所占用的空间是很小的,例如,按照标清视频最低256Kb码流计算,1GB录像数据所需的备份索引空间仅为384KB,约占块空间总存储容量的万分之四。
在具体实施中,可以在每一个块空间中放置存储数据结束时,再在块空间的头部预留区域内存储对应存储数据的备份索引。例如,存储服务器可以每隔4秒钟向块空间存储一次数据,并生成对应存储数据的数据索引和备份索引,在块空间存储满时,可以将对应该块空间中所存储的数据的备份索引一并放入该块空间的头部预留区域中。这样可以减少对数据盘的频繁操作,延长数据盘的寿命。
303、存储服务器扫描块空间的头部预留区域,获取存储在该头部预留区域中的备份索引;
其中,当系统盘损坏后,首先要使用新的系统盘重新安装操作系统和视频监控软件;在安装完成后进行数据索引的恢复。存储服务器扫描块空间的头部预留区域,可以获取存储在该头部预留区域中的备份索引,该备份索引中至少包括时间、起始地址、结束地址。
304、生成数据索引,所述数据索引至少包括所述备份索引;
其中,在303中获取到时间、起始地址、结束地址之后,要恢复原始的数据索引,还需要数据盘号、块空间号。本实施例可以在扫描过程中得到上述二个索引项;块空间号即当前正在恢复的块空间的序号,可以从数据盘属性信息中的块空间文件名中获取;数据盘号即当前正在处理的磁盘序号,按照磁盘的扫描顺序依次递增。
此外,索引标识项isDummy可以在进行索引恢复时,认为该索引项一定有效,将其设置为有效标识例如“1”;用于以后扩展的保留字段可以为3个字节,暂无用到,可以在恢复时全部填0。至此,已经将备份索引恢复为了原始的数据索引,存储服务器将该恢复后的数据索引写入新的系统盘中,即可应用于后续的数据查找。
本实施例中,通过在块空间存储备份索引,在进行索引恢复时,只需要将所有块空间的头部预留区域扫描一遍,即可将数据索引恢复到系统盘,不需要再去遍历所有磁盘数据,而且备份索引所占用的块空间很小,通常仅为几百KB,相比现有技术的全盘扫描的恢复方式,恢复时间可以从之前的2天缩短到几分钟内;当将数据索引进行精简后再备份时,备份索引所占用的空间将更小,扫描恢复时间也将进一步缩短,大幅节省恢复数据索引所需的时间,减少业务中断时间,提高数据的安全性和完整性,为安全性和容灾性添加额外的保障。
进一步的,本实施例中,在302中根据数据索引得到备份索引之后,还可以将所述的备份索引存储在块空间的头部预留区域之外的数据存储空间,所述数据存储空间中存储有所述备份索引对应的存储数据,并将所述备份索引与对应的所述存储数据封装存储。
具体的,以视频监控应用为例,在视频监控的数据盘中,头部预留区域之外的区域即为数据存储空间,该数据存储空间中存储有多个帧的视频数据。对每一帧数据,本实施例均进行了封装,所述的封装指的是,在原始数据的基础上增加用于恢复该部分原始数据的恢复信息,该原始数据和恢复信息共同构成新的一帧数据;所述的恢复信息即为备份索引。在进行索引恢复时,存储服务器可以扫描块空间中的每一帧数据,并获取每帧中的原始数据之外的备份索引,根据该备份索引就可以恢复原始的数据索引。此外,还可以在该帧中设置帧头信息、帧尾信息以及数据长度和校验信息,上述的信息是用于检验该帧数据是否被损坏的;例如,从帧头开始加上数据长度必然得到帧尾信息,否则就可以认定该帧数据无效。
通过将备份索引与存储数据进行混合封装存储,进一步大大提高了对数据保护的安全性,使得即使块空间头部预留区域也损坏,只要存储数据未损坏,例如上述的某一帧数据未损坏,就可以恢复该帧数据。
305、对恢复后的数据索引进行统计得到统计索引,将所述统计索引存储至数据库中。
其中,通常情况下为了方便存储数据的查找,系统盘中在数据索引之外,还设置有图2中所示的数据库,该数据库中存储的是针对数据索引的统计索引,该统计索引包括存储数据的数据标识范围,以及数据标识范围在至少一个数据盘的存储位置信息。
例如,数据盘A的块空间a中,存储着第1秒至第10秒的录像数据,则在系统盘的数据索引中记录的是第1秒录像数据索引、第2秒录像数据索引、……即这10秒的录像是每一秒分别存储的;但是在数据库中的记载是,第1秒至第10秒的录像数据存储在数据盘A的块空间a中,是统计信息。当用户查找数据盘的录像数据时,例如用户查找的目标数据是第6秒的录像数据,则其可以先查找数据库,得知第1秒至第10秒的录像数据存储在数据盘A的块空间a中,但是第6秒的录像数据存储在块空间a的什么位置尚未得知;用户将继续查找系统盘上的数据索引,该数据索引中记录的是详细的每一秒的录像数据存储在块空间的具体位置,用户可以从中查找到第6秒的录像数据是存储在块空间a的第11字节至第20字节的位置,如此用户就可以据此得到目标数据。
在系统盘发生故障时,上述的数据库中的统计索引数据也会丢失;在进行本实施例的数据索引的恢复时,可以一并恢复数据库信息,即将恢复得到的数据索引进行统计,得到统计索引信息,并将该统计索引存储至数据库中。
本实施例的数据索引的故障恢复方法,通过在数据盘的块空间中存储备份索引,可以根据该备份索引快速恢复数据索引,解决了数据索引恢复时间较长的问题,大大提高了数据索引的恢复速度。
实施例三
图5为本发明数据索引的故障恢复装置实施例的结构示意图,该装置可以为图2中所示的存储服务器,或者为存储服务器中所设置的其中一功能单元;该装置可以执行本发明任意实施例所述的恢复方法。本实施例对装置的结构进行简单说明,其具体的工作原理可以结合参见方法实施例所述。
如图5所示,该装置可以包括备份获取单元51和索引恢复单元52。其中,备份获取单元51,用于扫描数据盘中的块空间的头部预留区域,并获取存储在所述头部预留区域中的备份索引,所述备份索引至少包括所述块空间中的存储数据的数据标识、以及所述存储数据在所述块空间中的存储地址信息;其中,所述存储数据存储在至少一个数据盘上,且每一所述数据盘包括至少一个用于放置所述存储数据的块空间;索引恢复单元52,用于生成标识存储数据在至少一个数据盘的存储位置信息的数据索引,所述数据索引至少包括所述备份索引。
进一步的,该装置还可以包括索引生成单元53、索引备份单元54。其中,索引生成单元53,用于将存储数据放入所述数据盘的块空间中,并生成所述存储数据对应的所述数据索引;索引备份单元54,用于根据所述数据索引得到备份索引,并将所述备份索引存储在所述块空间的头部预留区域内。
进一步的,索引备份单元54,具体用于在每一个所述块空间中放置存储数据结束时,在块空间的头部预留区域内存储对应所述存储数据的备份索引。
进一步的,索引备份单元54,具体用于从数据索引中提取对应所述块空间中的存储数据的数据标识、以及所述存储数据在所述块空间中的存储地址信息作为所述备份索引;相应的,索引恢复单元52,具体用于通过扫描所述数据盘中的块空间,获取所述备份索引所在的块空间的块标识、所述块空间所在的数据盘的数据盘标识;并生成至少包括所述备份索引、所述块空间标识和数据盘标识的数据索引。
进一步的,本实施例的索引备份单元55,还用于在根据所述数据索引得到所述备份索引之后,将所述备份索引存储在所述块空间的头部预留区域之外的数据存储空间,所述数据存储空间中存储有所述备份索引对应的存储数据;并将所述备份索引与对应的所述存储数据封装存储。
本实施例的数据索引的故障恢复装置,通过在数据盘的块空间中存储备份索引,可以根据该备份索引快速恢复数据索引,解决了数据索引恢复时间较长的问题,大大提高了数据索引的恢复速度。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据索引的故障恢复方法,其特征在于,所述数据索引用于标识存储数据在至少一个数据盘的存储位置信息,所述数据盘包括至少一个用于放置所述存储数据的块空间;所述故障恢复方法包括:
扫描所述块空间的头部预留区域,获取存储在所述头部预留区域中的备份索引,所述备份索引至少包括所述块空间中的存储数据的数据标识、以及所述存储数据在所述块空间中的存储地址信息;
生成数据索引,所述数据索引至少包括所述备份索引。
2.根据权利要求1所述的数据索引的故障恢复方法,其特征在于,在扫描所述块空间的头部预留区域之前,还包括:
将所述存储数据放入所述数据盘的块空间中,并生成所述存储数据对应的所述数据索引;
根据所述数据索引得到所述备份索引,并将所述备份索引存储在所述块空间的头部预留区域内。
3.根据权利要求2所述的数据索引的故障恢复方法,其特征在于,所述将备份索引存储在所述块空间的头部预留区域内,包括:
在每一个所述块空间中放置存储数据结束时,在所述块空间的头部预留区域内存储对应所述存储数据的备份索引。
4.根据权利要求2所述的数据索引的故障恢复方法,其特征在于,所述根据所述数据索引得到备份索引,包括:
从所述数据索引中提取对应所述块空间中的存储数据的数据标识、以及所述存储数据在所述块空间中的存储地址信息作为所述备份索引;
相应的,所述生成数据索引,包括:
通过扫描所述数据盘中的块空间,获取所述备份索引所在的块空间的块空间标识、所述块空间所在的数据盘的数据盘标识;并生成至少包括所述备份索引、所述块空间标识和数据盘标识的数据索引。
5.根据权利要求2所述的数据索引的故障恢复方法,其特征在于,在根据所述数据索引得到所述备份索引之后,还包括:
将所述备份索引存储在所述块空间的头部预留区域之外的数据存储空间,所述数据存储空间中存储有所述备份索引对应的存储数据;并将所述备份索引与对应的所述存储数据封装存储。
6.一种数据索引的故障恢复装置,其特征在于,包括:
备份获取单元,用于扫描数据盘中的块空间的头部预留区域,并获取存储在所述头部预留区域中的备份索引,所述备份索引至少包括所述块空间中的存储数据的数据标识、以及所述存储数据在所述块空间中的存储地址信息;其中,所述存储数据存储在至少一个数据盘上,且每一所述数据盘包括至少一个用于放置所述存储数据的块空间;
索引恢复单元,用于生成标识存储数据在至少一个数据盘的存储位置信息的数据索引,所述数据索引至少包括所述备份索引。
7.根据权利要求6所述的数据索引的故障恢复装置,其特征在于,还包括:
索引生成单元,用于将存储数据放入所述数据盘的块空间中,并生成所述存储数据对应的所述数据索引;
索引备份单元,用于根据所述数据索引得到备份索引,并将所述备份索引存储在所述块空间的头部预留区域内。
8.根据权利要求7所述的数据索引的故障恢复装置,其特征在于,
所述索引备份单元,具体用于在每一个所述块空间中放置存储数据结束时,在所述块空间的头部预留区域内存储对应所述存储数据的备份索引。
9.根据权利要求7所述的数据索引的故障恢复装置,其特征在于,
所述索引备份单元,具体用于从数据索引中提取对应所述块空间中的存储数据的数据标识、以及所述存储数据在所述块空间中的存储地址信息作为所述备份索引;
所述索引恢复单元,具体用于通过扫描所述数据盘中的块空间,获取所述备份索引所在的块空间的块空间标识、所述块空间所在的数据盘的数据盘标识;并生成至少包括所述备份索引、所述块空间标识和数据盘标识的数据索引。
10.根据权利要求7-9任一所述的数据索引的故障恢复装置,其特征在于,
所述索引备份单元,还用于在根据所述数据索引得到所述备份索引之后,将所述备份索引存储在所述块空间的头部预留区域之外的数据存储空间,所述数据存储空间中存储有所述备份索引对应的存储数据;并将所述备份索引与对应的所述存储数据封装存储。
CN201110297834XA 2011-09-28 2011-09-28 数据索引的故障恢复方法和装置 Active CN102314383B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110297834XA CN102314383B (zh) 2011-09-28 2011-09-28 数据索引的故障恢复方法和装置
PCT/CN2012/081176 WO2013044726A1 (zh) 2011-09-28 2012-09-10 数据索引的故障恢复方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110297834XA CN102314383B (zh) 2011-09-28 2011-09-28 数据索引的故障恢复方法和装置

Publications (2)

Publication Number Publication Date
CN102314383A CN102314383A (zh) 2012-01-11
CN102314383B true CN102314383B (zh) 2013-12-04

Family

ID=45427570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110297834XA Active CN102314383B (zh) 2011-09-28 2011-09-28 数据索引的故障恢复方法和装置

Country Status (2)

Country Link
CN (1) CN102314383B (zh)
WO (1) WO2013044726A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314383B (zh) * 2011-09-28 2013-12-04 华为数字技术(成都)有限公司 数据索引的故障恢复方法和装置
CN103312494A (zh) * 2012-03-14 2013-09-18 中国人民银行印制科学技术研究所 数据分散存储方法、数据还原方法及数据卡
CN102981779A (zh) * 2012-11-22 2013-03-20 华为技术有限公司 数据处理方法和设备
CN103037203B (zh) * 2012-12-11 2016-06-08 浙江宇视科技有限公司 一种基于块存储的索引恢复方法和装置
CN103914481B (zh) * 2013-01-07 2019-09-13 深圳市腾讯计算机系统有限公司 数据存储方法和装置
CN103559101A (zh) * 2013-10-15 2014-02-05 华为技术有限公司 一种操作系统数据的备份和还原的方法、存储设备及终端
CN104318960B (zh) * 2014-09-15 2018-06-05 华为数字技术(成都)有限公司 一种硬盘坏道的修复方法及装置
CN104239564B (zh) * 2014-09-28 2018-02-09 深圳市锐明技术股份有限公司 一种文件索引组织及修复的方法及装置
CN104317833B (zh) * 2014-10-10 2019-03-26 深圳市锐明技术股份有限公司 一种恢复系统文件索引的方法及装置
CN104301682B (zh) * 2014-10-22 2017-07-11 厦门市美亚柏科信息股份有限公司 一种监控视频碎片的恢复方法和装置
CN104516795A (zh) * 2015-01-15 2015-04-15 浪潮(北京)电子信息产业有限公司 一种数据存取方法及系统
CN105045684B (zh) * 2015-07-16 2018-06-15 北京京东尚科信息技术有限公司 索引切换和索引控制的方法及装置
CN105183396A (zh) * 2015-09-22 2015-12-23 厦门雅迅网络股份有限公司 一种增强车载dvr录像数据可回溯性的存储方法
CN109213429B (zh) * 2017-06-30 2021-07-23 伊姆西Ip控股有限责任公司 存储管理方法和设备
CN109101191B (zh) * 2018-06-21 2021-07-16 东软集团股份有限公司 数据存储方法、装置和存储介质以及电子设备
CN111611258B (zh) * 2020-05-27 2023-09-19 杭州海康威视系统技术有限公司 流数据的恢复方法和存储设备
US11475141B1 (en) * 2022-03-15 2022-10-18 My Job Matcher, Inc. Apparatus and methods for verifying lost user data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492362A (zh) * 2002-10-25 2004-04-28 联想(北京)有限公司 一种嵌入式数据库的数据备份和恢复方法
CN101477487A (zh) * 2009-01-22 2009-07-08 上海交通大学 多次增量文件的备份方法和恢复方法
CN101599080A (zh) * 2009-07-22 2009-12-09 中国科学院计算技术研究所 一种备份数据的组织系统和方法
CN102147711A (zh) * 2010-12-31 2011-08-10 成都市华为赛门铁克科技有限公司 一种基于数据内容识别的存储方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483929B2 (en) * 2005-02-08 2009-01-27 Pro Softnet Corporation Systems and methods for storing, backing up and recovering computer data files
CN102314383B (zh) * 2011-09-28 2013-12-04 华为数字技术(成都)有限公司 数据索引的故障恢复方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492362A (zh) * 2002-10-25 2004-04-28 联想(北京)有限公司 一种嵌入式数据库的数据备份和恢复方法
CN101477487A (zh) * 2009-01-22 2009-07-08 上海交通大学 多次增量文件的备份方法和恢复方法
CN101599080A (zh) * 2009-07-22 2009-12-09 中国科学院计算技术研究所 一种备份数据的组织系统和方法
CN102147711A (zh) * 2010-12-31 2011-08-10 成都市华为赛门铁克科技有限公司 一种基于数据内容识别的存储方法及装置

Also Published As

Publication number Publication date
WO2013044726A1 (zh) 2013-04-04
CN102314383A (zh) 2012-01-11

Similar Documents

Publication Publication Date Title
CN102314383B (zh) 数据索引的故障恢复方法和装置
US7613946B2 (en) Apparatus, system, and method for recovering a multivolume data set
CN105144142A (zh) 使用对象多个维度的信息存储对象
CN103037203B (zh) 一种基于块存储的索引恢复方法和装置
KR101050475B1 (ko) 데이터 백업 관리 장치
US7900003B2 (en) System, method and computer program product for storing an information block
CN103226965A (zh) 基于时间位图的音视频数据存取方法
CN104991747A (zh) 数据管理方法及系统
CN103164528B (zh) 一种音视频数据的索引建立方法
US20180210784A1 (en) Metadata Recovery Method and Apparatus
CN103929609A (zh) 一种录像回放方法和装置
CN104166601A (zh) 一种存储数据的备份方法和装置
CN110324429A (zh) 基于分布式数据存储的备份方法及备份装置
CN102999399A (zh) 一种jbod阵列自动恢复存储的方法和装置
US20140379649A1 (en) Distributed storage system and file synchronization method
CN101751231A (zh) 数据写入、读出方法及装置、虚拟磁带库设备
CN102142010A (zh) 嵌入式设备上的多媒体服务数据库录入数据的方法和设备
US9875046B2 (en) Tape backup and restore in a disk storage environment with intelligent data placement
CN104636218B (zh) 数据恢复方法及装置
US9740571B1 (en) Intelligent continuous data protection snapshot based backups
US7600151B2 (en) RAID capacity expansion interruption recovery handling method and system
CN101794246B (zh) 备份存储系统、备份系统及数据备份方法和恢复方法
CN102262657A (zh) 多媒体数据存储方法及系统
CN102419995A (zh) 信息存取设备及信息存取方法
CN104462148A (zh) 一种数据存储管理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Applicant after: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.

Address before: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Applicant before: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD. TO: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220905

Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041

Patentee after: Chengdu Huawei Technologies Co.,Ltd.

Address before: 611731 Qingshui River District, Chengdu hi tech Zone, Sichuan, China

Patentee before: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.