CN102624537B - 一种数据恢复系统及方法 - Google Patents

Abstract

一种数据恢复方法，包括：接收数据；将该数据分成多个数据块；对每个数据块添加标识符；将添加了标识符的多个数据块存储在多个存储装置(30)中，相同的数据块具有相同的标识符，具有相同的标识符的数据块存储多份且存储在不同的存储装置(30)中；检测存储装置(30)是否发生读取故障及故障类型，并在检测到存储装置(30)发生读取故障时，从没有发生读取故障的存储装置(30)中复制至少部分与发生读取故障的存储装置(30)中存储的具有相同标识符的数据块，并备份到被检测的存储装置(30)或新的存储装置(30)中。该方法能够避免现有技术中因为一个存储装置中某个数据发生故障或存储装置出现故障而需要从另一个存储装置中获取整个数据，由此能够降低冗余。

Description

一种数据恢复系统及方法

技术领域

本发明涉及数据恢复系统及方法，特别涉及用于视频服务器的数据恢复系统及方法。

背景技术

在有线电视领域中，网络运营商对视频服务器均提出了严格要求：视频服务器开发商必须保证视频服务器的安全性，包括存储装置故障，当存储装置故障时视频文件内容不丢失；视频服务器仍能正常使用；更换存储装置后，视频服务器必须自动恢复原有数据；视频服务器的安全保护必须在短时间内生效。

目前视频服务器开发商通常采用存储装置冗余方案来保证视频服务器存储安全问题，即可保证存储装置故障时，视频文件内容不丢失，视频服务器的安全保护生效时间短。

存储装置冗余方案对于存储的内容采用的冗余策略是一致的，对于安全性要求不高的存储装置则同样采用了一种冗余策略(例如RAID5方案)，进而造成内容冗余，而降低了存储装置有效容量，当存储装置故障后，采用的冗余方案使得所读取的数据需要经过计算获取，从而降低读取性能。当存储装置恢复时，需要通过其他存储装置读取数据对该存储装置进行恢复，进而造成对外提供数据的性能下降。

在存储装置故障恢复过程中，发明人发现现有技术至少存在以下问题：

第一、采用存储装置冗余方案，造成内容冗余，降低存储装置有效容量，增加了视频服务器成本。

第二、当存储装置故障后，整个视频服务器的读取性能呈线性下降趋势。

第三、采用传统存储装置冗余方案，当存储装置恢复时，存储装置30性能下降80％以上。

发明内容

为解决上述问题，本发明的目的是提供一种降低冗余的数据恢复方法及系统。

为实现上述目的，本发明的一个方面是提供一种数据恢复方法，该方法包括：接收数据；将该数据分成多个数据块；对每个数据块添加标识符；将添加了标识符的多个数据块存储在多个存储装置中，相同的数据块具有相同的标识符，具有相同的标识符的数据块存储多份且存储在不同的存储装置中；检测所述存储装置是否发生读取故障及故障类型，并在检测到存储装置发生读取故障时，从没有发生读取故障的存储装置中复制至少部分与发生读取故障的存储装置中存储的具有相同标识符的数据块，并备份到被检测的存储装置或新的存储装置中。

本发明的另一个方面提供一种数据恢复系统，该系统包括：预处理装置，该预处理装置被配置成接收数据，将该数据分成多个数据块，对每个数据块添加标识符；以及相互通信的多个文件管理系统，每个文件管理系统与一个存储装置相关联，该文件管理系统包括：通信模块，被配置成接收数据；处理模块，被配置成与所述存储装置和通信模块通信，从所述预处理装置获取添加了标识符的多个数据块，并将添加了标识符的该多个数据块存储到该存储装置中，相同的数据块具有相同的标识符，具有相同的标识符的数据块存储多份且存储在与不同的文件管理系统相关联的不同的存储装置中；处理模块还被配置成检测存储装置是否发生读取故障及故障类型，并在检测到存储装置发生读取故障时，通过其他文件管理系统从与该其他文件管理系统相关联的没有发生读取故障的存储装置中复制至少部分与发生读取故障的存储装置中存储的具有相同标识符的数据块，并备份到被检测的存储装置或新的存储装置中。

本发明提供的数据恢复方法和系统，将数据划分成多个数据块，并给每个数据块添加标识符，这样，数据是以更小的多个数据块的形式被存储在存储装置中。当存储装置中存储的某个数据块发生故障或存储装置故障时，可以从另一个存储装置中获取相同的数据块，以替换故障的数据块。这样避免了现有技术中因为一个存储装置中某个数据发生故障或存储装置出现故障而需要从另一个存储装置中获取整个数据，由此能够降低冗余。

附图说明

图1是根据本发明的实施方式的数据恢复方法的流程图；

图2示出了数据被分成多个具有标识符的数据块的示意图；以及

图3是根据本发明的一个实施方式的数据恢复系统的示意图。

具体实施方式

下面结合附图对本发明的实施方式做进一步的描述。

图1是根据本发明的实施方式的数据恢复方法的流程图。如图1所示，根据本发明的一个实施方式，提供了一种数据恢复方法，其中，该方法包括：

接收数据；

将该数据分成多个数据块；

对每个数据块添加标识符；

将添加了标识符的多个数据块存储在多个存储装置30中，相同的数据块具有相同的标识符，具有相同的标识符的数据块存储多份且存储在不同的存储装置30中；

检测存储装置30是否发生读取故障及故障类型，并在检测到存储装置30发生读取故障时，从没有发生读取故障的存储装置30中复制至少部分与发生读取故障的存储装置30中存储的具有相同标识符的数据块，并备份到被检测的存储装置30或新的存储装置30中。

在将数据存储到存储装置30之前，需要将数据划分成多个数据块。数据块的大小可以预先定义，例如可以由操作员指定数据块大小。在数据被划分成多个数据块后，可以给每个数据块添加标识符。图2示出了数据被分成多个具有标识符的数据块的示意图。如图2所示，示出了四个数据块，每个数据块可以包括标识符字段(图2中空白部分)和内容字段(图2中阴影部分)。标识符可以基于一定的规则设定。例如标识符可以例如是顺序的序列号，也可以是时间戳，这依据数据类型而定。如果在存储装置30中存储了多个数据，则还可能需要加入文件名来标识，因此在本发明的一个实施方式中，标识符可以是文件名和时间戳的组合，即“文件名+时间戳”，用来标识不同数据中的不同数据块。在存在多个视频数据的情况中比较适合使用文件名和时间戳的组合的标识符。以上所述的接收数据、将该数据分成多个数据块以及对每个数据块添加标识符称为数据预处理过程。

在预处理过程之后，将添加了标识符的多个数据块存储到一个存储装置30中。在至少一个其他存储装置30中存储该多个数据块的备份。这样，在一个存储装置30中存储的数据块在至少一个其他的存储装置30中也有备份。存储的方式可以有多种，只要能满足在任意一个存储装置30中的任意一个数据块在其他存储装置30中存有其至少一个备份。例如，可以在多个存储装置30中的每一个中存储相同的数据块。或者在一个存储装置30中存储的多个数据块分别备份在其他多个存储装置30中。例如，在一个存储装置30中存储有数据块1-10，则可以在其他存储装置30的第一个存储装置30中备份有数据块1-3，在第二个存储装置30中备份有数据块4-7，在第三个存储装置30中备份有数据块8-10。当然还可以有其他的存储方式。在数据块被存储到存储装置30中时，存储数据块的存储位置(存储地址)与该数据块的标识符之间的映射被建立。也就是说，针对每个存储装置30，建立每个数据块的标识符与该数据块在存储装置30中的存储位置之间的映射。多个存储装置30的映射规则可以相同也可以不同。

存储装置30发生读取故障可能由多种原因造成，例如数据块在存储过程中出错，或存储装置30存储该数据块的存储位置发生故障，例如该存储位置的存储区块损坏。因此，根据本发明的一个实施方式，所述检测存储装置30的故障类型为数据块自身存在错误，该方法可以包括：

标记故障的数据块的标识符；

删除该故障的数据块；

从没有发生读取故障的存储装置30中复制具有与被标记的标识符相同的标识符的数据块，并将复制的数据块存储到被检测的存储装置30中。

具体来说，可以对一个存储装置30进行扫描，以检测该存储装置30中存储的数据块是否存在错误。如果检测到数据块存在错误，则标记该错误的数据块的标识符，根据被标记的标识符从其他存储装置30中搜索具有与该被标记的标识符相同的标识符的数据块，并复制该数据块。删除错误的数据块，并将复制后的数据块存储到清除错误的数据块的存储装置30中，从而完成数据恢复过程。

在本发明的另一个实施方式中，所述检测存储装置30的故障类型为存储装置30出现故障，该方法包括：

标记故障的存储装置30中存储的所有数据块的标识符；

检测是否用新的存储装置30替换该故障的存储装置30；以及

在检测到用新的存储装置30替换了故障的存储装置30的情况下，从没有发生读取故障的其他存储装置30中复制具有与被标记的标识符相同的标识符的数据块，并将复制的数据块存储到该新的存储装置30中。

在该实施方式中，存储装置30发生读取故障是由于存储装置30中存储该数据块的存储位置出现故障，要消除该故障，通常是更换存储装置30。在更换新的存储装置30后，需要将原来的存储装置30中存储的数据块重新存储到该新的存储装置30中，因此，在检测到存储装置30出现故障后，标记存储在该存储装置30中的所有数据块的标识符，检测是否更换了新的存储装置30，如果更换了新的存储装置30，则根据被标记的标识符从其他存储装置30中搜索具有与该被标记的标识符相同的标识符的数据块，并复制该数据块，将该复制的数据块存储到新的存储装置30中，这样通过更换新的存储装置30来消除原来的存储装置30故障，并在新的存储装置30中存储与原来故障的存储装置30存储的相同的数据块，以实现数据恢复。

检测存储装置30发生读取故障以及故障类型的方法可以为本领域技术人员公知的方法，例如，对数据读写时，出现异常或超时；没有读写任务进行定时全盘扫描来检测存储装置异常；判断存储装置的性能下降系数等，这里不再赘述。例如，可以先检测存储装置30是否出现故障，如果出现故障，则检测出存储装置30发生读取故障且故障类型为存储装置30出现故障，如果存储装置30没有出现故障，则检测数据块是否存在错误，如果存在错误，则检查出存储装置30发生读取故障且故障类型为数据块自身存在错误。

每个存储装置30可以属于一个文件管理系统，且文件管理系统之间可以通过内容共享通道进行通信，该内容共享通道可以例如为千兆以太网络或万兆以太网络。

这里提供的方法或流程图可以通过计算机程序、软件或固件实现。

本发明的另一个方面还提供了用于执行上述方法的数据恢复系统。图3是根据本发明的一个实施方式的数据恢复系统的示意图。如图3所示，根据本发明的另一个实施方式，还提供了一种数据恢复系统，其中，该系统包括：

预处理装置10，该预处理装置10被配置成接收数据，将该数据分成多个数据块，对每个数据块添加标识符；以及

相互通信的多个文件管理系统20，每个文件管理系统20与至少一个存储装置30相关联，该文件管理系统20包括：

通信模块22，被配置成接收和发送数据；

处理模块24，被配置成与所述存储装置30和通信模块22通信，从所述预处理装置10获取添加了标识符的多个数据块，并将添加了标识符的该多个数据块存储到该存储装置30中，相同的数据块具有相同的标识符，具有相同的标识符的数据块存储多份且存储在与不同的文件管理系统20相关联的不同的存储装置30中；

处理模块24还被配置成检测存储装置30是否发生读取故障及故障类型，并在检测到存储装置30发生读取故障时，通过其他文件管理系统20从与该其他文件管理系统20相关联的没有发生读取故障的存储装置30中复制至少部分与发生读取故障的存储装置30中存储的具有相同标识符的数据块，并备份到被检测的存储装置30或新的存储装置30中。

预处理装置10用于执行上述的预处理过程，该预处理装置10可以通过软件、硬件或软件与硬件的结合来实现。

所述通信模块22可以与处理模块24通信，不同的文件管理系统20的通信模块22之间可以相互通信，该通信可以是直接通信和间接通信(即，经由一个或多个通信模块22)。通信的方式可以是有线通信(例如，以太网)或无线通信(例如，WLAN)。在本发明的一个实施方式中，通信模块22之间可以通过内容共享通道进行通信。内容共享通道可以例如为千兆以太网络或万兆以太网络。通信模块22可以包括收发信机，用于接收和发送信号。在本发明的可替换实施方式中，通信模块22可以包括用于接收信号的接收机和用于发射信号的发射机。

处理模块24可以直接从预处理装置10获取上述多个数据块，或可以经由通信模块22从预处理装置10获取上述多个数据块，然后将该多个数据块存储到与其通信的存储装置30中。在存储过程中，建立数据标识符与存储装置30中的存储位置(存储地址)之间的映射。处理模块24可以具有这些标识符的列表。每个文件管理系统20的处理模块24都可以类似操作，以确保在与一个处理模块24通信的一个存储装置30中存储的数据块在与其他处理模块24通信的至少一个存储装置30中也有存储，并具有相同的标识符。数据块的存储方式可以例如采用上述在对方法的描述中所提到的存储方式。

在本发明的一个实施方式中，所述处理模块24检测出存储装置30的故障类型为数据块自身存在错误，所述处理模块24被配置成：

标记故障的数据块的标识符；

删除该故障的数据块；

通过其他文件管理系统20从与该其他文件管理系统20相关联的没有发生读取故障的存储装置30中复制具有与被标记的标识符相同的标识符的数据块，并将该复制的数据块存储到被检测的存储装置30中。

处理模块24可以对与之通信的存储装置30进行扫描，以检测该存储装置30中存储的数据块是否存在错误，如果检测出数据块本身存在错误(例如，数据块丢失或读取错误)，则在标识符列表中标记出错的该数据块的标识符，并删除该出错的数据块。处理模块24可以通过通信模块22向其他的文件管理系统20发出包含被标记的标识符的请求。其他的文件管理系统20的处理模块24接收该请求，并根据该请求中的被标记的标识符从与其通信的存储装置30中搜索是否存在与该被标记的标识符对应的数据块。如果存在，则复制该数据块，并将该数据块经由通信模块22发送到发送请求的文件管理系统20的处理模块24，该处理模块24将接收到的该数据块存储到其存储装置30中；如果不存在，则接收请求的处理模块24经由通信模块22将该请求转发到其他文件管理系统20。接收到请求的文件管理系统20执行上述类似的操作。在本发明的可替换的实施方式中，请求可以包含多个被标记的标识符。在该可替换实施方式中，如果接收请求的处理模块24搜索到其存储装置30中存储有与请求中的标识符的一部分对应的数据块，则该处理模块24一方面将该数据块复制并发送到发送请求的处理模块24，另一方面将包含剩余的被标记的标识符(即去除了与复制的数据块对应的标识符)的请求转发到其他文件管理系统20。

在本发明的另一个实施方式中，所述处理模块24检测出存储装置30的故障类型为存储装置30出现故障(例如，扇区损坏)，处理模块24被配置成：

标记故障的存储装置30中存储的所有数据块的标识符；

检测是否用新的存储装置30替换该存储装置30；以及

在检测到用新的存储装置30替换了该存储装置30的情况下，通过其他文件管理系统20从与该其他文件管理系统20相关联的没有发生读取故障的存储装置30中复制具有与被标记的标识符相同的标识符的数据块，并将该复制的数据块存储到与该新的存储装置30中。

处理模块24对与其通信的存储装置30进行扫描，以检测该存储30是否出现故障。如果检测出存储装置30出现故障，则标记存储在该存储装置30中的数据块所对应的标识符(例如将标识符列表中的标识符标记为“故障状态”)。当存储装置30出现故障时通常通过用新的存储装置30来更换该故障的存储装置30来消除故障。

处理模块24还用于检测是否更换了新的存储装置30。如果检测出更换了新的存储装置30，则通过其他文件管理系统20从与该其他文件管理系统20相关联的存储装置30中获取与被标记的标识符对应的数据块，并将该数据块存储到新的存储装置30中。获取数据块的方法与故障类型是数据块自身存在错误的情况中的类似，不再赘述。

在将上述数据块存储到新的存储装置30后，处理模块24取消对被标记的标识符的标记，即取消对这些标识符的“故障”标记。

由此，处理模块24还可以被配置成在检测出存储装置30发生读取故障后判断故障类型。检测存储装置30发生读取故障以及判断故障类型的方法可以是本领域技术人员公知的方法，这里不再赘述。

上述数据恢复过程可以扩展到一个文件管理系统20的处理模块24与多个存储装置30通信的情况。在这种情况中，如果该多个存储装置30中出现一个以上的存储装置30发生读取故障，则处理模块24标记的是多组标识符，被标记的标识符的组数与故障的存储装置30的数目相同，且每组标识符与故障的存储装置30中的数据块相对应。数据块的获得以及存储与上述过程相似，不再赘述。

处理模块24可以包括但不限于通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、任何其它类型的集成电路(IC)，和/或状态机。

合适的存储装置30可以包括但不限于磁性介质，例如内部硬盘和可移动磁盘，磁光介质和光介质，例如CD-ROM盘，和数字通用盘(DVD)。

在本发明的一个实施方式中，标识符可以是时间戳，标识符信息可以是时间戳的索引。一般而言，在存储装置30中存储有多个数据，因此需要区分每个数据。在这种情况中，标识符可以是文件名和时间戳的组合，文件名用于标识不同的数据，时间戳用于标识同一数据中的不同数据块。相应地，标识符信息可以是文件名和时间戳的索引。

虽然图3中示出了两个文件管理系统20，但本领域技术人员可以理解，该系统可以包括两个以上的文件管理系统20。可替换地，这些文件管理系统20可以集成在一个部件上。多个文件管理系统20的通信模块22彼此之间可以相互通信，或者串行通信。虽然图中示出了一个文件管理系统20与一个存储装置30相关联，但本领域技术人员可以理解，一个文件管理系统20可以与多个存储装置30相关联。

Claims (9)

1.一种数据恢复方法，该方法包括：

接收数据；

将该数据分成多个数据块；

对每个数据块添加标识符；

将添加了标识符的多个数据块存储在多个存储装置(30)中，相同的数据块具有相同的标识符，具有相同的标识符的数据块存储多份且存储在不同的存储装置(30)中；

检测存储装置(30)是否发生读取故障及故障类型，并在检测到存储装置(30)发生读取故障时，从没有发生读取故障的存储装置(30)中复制至少部分与发生读取故障的存储装置(30)中存储的具有相同标识符的数据块，并备份到被检测的存储装置(30)或新的存储装置(30)中；

其中，当所述检测存储装置(30)的故障类型为数据块自身存在错误时，该方法包括：

标记故障的数据块的标识符；

删除该故障的数据块；

从没有发生读取故障的存储装置(30)中复制具有与被标记的标识符相同的标识符的数据块，并将复制的数据块存储到被检测的存储装置(30)中；以及

其中，当所述检测存储装置(30)的故障类型为存储装置(30)出现故障时，该方法包括：

标记故障的存储装置(30)中存储的所有数据块的标识符；

检测是否用新的存储装置(30)替换该故障的存储装置(30)；以及

在检测到用新的存储装置(30)替换了故障的存储装置(30)的情况下，从没有发生读取故障的其他存储装置(30)中复制具有与被标记的标识符相同的标识符的数据块，并将复制的数据块存储到该新的存储装置(30)中。

2.根据权利要求1所述的方法，其中，每个存储装置(30)分别属于一个文件管理系统。

3.根据权利要求2所述的方法，其中，所述文件管理系统通过内容共享通道进行通信。

4.根据权利要求1-3中任意一项所述的方法，其中，所述标识符是时间戳。

5.根据权利要求1-3中任意一项所述的方法，其中，所述标识符是时间戳和文件名。

6.一种数据恢复系统，该系统包括：

预处理装置(10)，该预处理装置(10)被配置成接收数据，将该数据分成多个数据块，对每个数据块添加标识符；以及

相互通信的多个文件管理系统(20)，每个文件管理系统(20)与一个存储装置(30)相关联，该文件管理系统(20)包括：

通信模块(22)，被配置成接收数据；

处理模块(24)，被配置成与所述存储装置(30)和通信模块(22)通信，从所述预处理装置(10)获取添加了标识符的多个数据块，并将添加了标识符的该多个数据块存储到该存储装置(30)中，相同的数据块具有相同的标识符，具有相同的标识符的数据块存储多份且存储在与不同的文件管理系统(20)相关联的不同的存储装置(30)中；

处理模块(24)还被配置成检测存储装置(30)是否发生读取故障及故障类型，并在检测到存储装置(30)发生读取故障时，通过其他文件管理系统(20)从与该其他文件管理系统(20)相关联的没有发生读取故障的存储装置(30)中复制至少部分与发生读取故障的存储装置(30)中存储的具有相同标识符的数据块，并备份到被检测的存储装置(30)或新的存储装置(30)中；

其中，当所述处理模块(24)检测出存储装置(30)的故障类型为数据块自身存在错误时，所述处理模块(24)被配置成：

标记故障的数据块的标识符；

删除该故障的数据块；以及

通过其他文件管理系统(20)从与该其他文件管理系统(20)相关联的没有发生读取故障的存储装置(30)中复制具有与被标记的标识符相同的标识符的数据块，并将该复制的数据块存储到被检测的存储装置(30)中；以及

其中，当所述处理模块(24)检测出存储装置(30)的故障类型为存储装置(30)出现故障时，所述处理模块(24)被配置成：

标记故障的存储装置(30)中存储的所有数据块的标识符；

检测是否用新的存储装置(30)替换该故障的存储装置(30)；以及

在检测到用新的存储装置(30)替换了该故障的存储装置(30)的情况下，通过其他文件管理系统(20)从与该其他文件管理系统(20)相关联的没有发生读取故障的存储装置(30)中复制具有与被标记的标识符相同的标识符的数据块，并将该复制的数据块存储到该新的存储装置(30)中。

7.根据权利要求6所述的数据恢复系统，其中，多个通信模块(22)通过内容共享通道进行通信。

8.根据权利要求6或7所述的系统，其中，所述标识符是时间戳。

9.根据权利要求6或7所述的系统，其中，所述标识符是时间戳和文件名。