CN103049354B - 数据修复方法、数据修复装置以及存储系统 - Google Patents

Abstract

本发明提供了一种数据修复方法、数据修复装置以及存储系统，其中，该数据修复方法包括：实时检测异常存储节点，并获取所述异常存储节点的标识信息；读取索引数据，其中，通过所述索引数据能够得到至少一个数据文件所在的存储节点的标识信息；当通过所述索引数据所得到的标识信息中包括上述异常存储节点的标识信息时，对该索引数据所对应的数据文件的、位于上述异常存储节点中的子文件进行修复。

Description

数据修复方法、数据修复装置以及存储系统

技术领域

本发明涉及数据存储技术领域，特别涉及一种数据修复方法、数据修复装置及存储系统。

背景技术

近年来，随着网络技术的发展和网络使用的普及，全球数据量也呈现爆炸式的增长。针对如此大量的数据，数据的可靠性变得很重要。为了提高数据的可靠性，需要保证全部数据是可用的。在现有技术中，周期性地对数据的完整性进行检测，以防止数据存储节点发生故障而导致数据丢失。但是，在这种现有的周期性检测中，需要根据索引数据遍历系统中已经存在的数据文件，把所有的数据文件读出来计算校验和，并根据该校验和与索引数据中保留的校验和进行比较，如果不一致就启动恢复。这种周期性检测耗费较多的系统资源，当系统数据较多时，对数据的扫描周期变得很长，一般来说需要3个月以上，降低了数据的可靠性。

发明内容

有鉴于此，本发明的目的在于提供了一种能够迅速发现发生异常的数据文件并对其进行修复的数据修复方法、装置以及存储系统。

为了实现上述目的，第一方面，本发明提供了一种数据修复方法，该方法包括如下步骤：实时检测异常存储节点，并获取所述异常存储节点的标识信息；读取索引数据，其中，通过所述索引数据能够得到至少一个数据文件所在的存储节点的标识信息；当通过所述索引数据所得到的标识信息中包括上述异常存储节点的标识信息时，对该索引数据所对应的数据文件的、位于上述异常存储节点中的子文件进行修复。

结合第一方面，在第一种可能的实施方式中，所述异常存储节点的实时检测是通过在检测周期中实时监测所述存储节点的运行状态来实现的。

结合第一方面，在第二种可能的实施方式中，所述索引数据中包括所述至少一个数据文件所在的存储节点的标识信息。

结合第一方面，在第三种可能的实施方式中，所述索引数据中包括用于计算所述至少一个数据文件所在的存储节点的标识信息的必要信息；所述必要信息包括数据文件名、数据文件大小以及该数据文件的子文件大小。

结合第一方面，在第四种可能的实施方式中，在对位于上述异常存储节点中的子文件进行修复之后，对所述索引数据中的与该子文件有关的信息进行更新。

根据本发明的第二方面，提供了一种数据修复装置，包括检测单元、读取单元、判断单元以及修复单元，所述检测单元实时检测异常存储节点，并将所检测到的异常存储节点的标识信息发送至所述判断单元；所述读取单元读取索引数据，其中，所述读取单元通过所述索引数据能够得到至少一个数据文件所在的存储节点的标识信息；当所述判断单元判断为通过所述索引数据所得到的标识信息中包括上述异常存储节点的标识信息时，所述修复单元对该索引数据所对应的数据文件的、位于上述异常存储节点中的子文件进行修复。

结合第二方面，在第一种可能的实施方式中，所述检测单元通过在检测周期中实时监测所述存储节点的运行状态来实时检测异常存储节点。

结合第二方面，在第二种可能的实施方式中，所述索引数据中包括所述至少一个数据文件所在的存储节点的标识信息。

结合第二方面，在第三种可能的实施方式中，所述索引数据中包括用于计算所述至少一个数据文件所在的存储节点的标识信息的必要信息；所述必要信息包括数据文件名、数据文件大小以及该数据文件的子文件大小。

结合第二方面，在第四种可能的实施方式中，在所述修复单元对位于上述异常存储节点中的子文件进行修复之后，该数据修复装置对所述索引数据中的与该子文件有关的信息进行更新。

根据本发明的第三方面，提供了一种存储系统，包括存储设备，还包括如上所述的数据修复装置，所述存储设备中包括多个存储节点。

根据本发明的第四方面，提供了一种数据修复装置，其包括处理器、存储器和总线；其中处理器、存储器通过总线完成相互间的通信；所述处理器用于执行程序，所述存储器用于存放程序；其中，所述程序用于：实时检测异常存储节点，并获取所述异常存储节点的标识信息；读取索引数据，其中，通过所述索引数据能够得到至少一个数据文件所在的存储节点的标识信息；当通过所述索引数据所得到的标识信息中包括上述异常存储节点的标识信息时，对该索引数据所对应的数据文件的、位于上述异常存储节点中的子文件进行修复。

本发明实施例的数据修复方法、数据修复装置以及存储系统能够在检测周期内实时检测各个异常存储节点的运行状态，当检测到异常存储节点时，查找索引数据，通过将索引数据与异常存储节点的标识信息进行比较，能够迅速找到发生异常的数据文件，再针对该数据文件的、位于该异常存储节点上的子文件进行修复。相对于现有的周期性检测技术，本发明无需读取所有的数据文件，从而能够有效节省系统资源并减少修复周期。

附图说明

根据下述的具体说明以及附图将更全面地理解本发明，这些内容仅作描述用，而不用于限制本发明，其中：

图1示出了本发明实施例的数据修复方法的流程图；

图2示出了本发明的存储系统的示意性框图；

图3示出了根据本发明第一实施方式的数据修复方法的流程图；

图4示出了根据本发明第二实施方式的数据修复方法的流程图；

图5示出了根据本发明第三实施方式的数据修复方法的流程图；

图6为本发明实施例提供的又一种数据修复装置600的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围

图1示出了本发明实施例的数据修复方法的流程图。如图1所示，该方法包括：

S1.实时检测异常存储节点，并获取所述异常存储节点的标识信息；

S2.读取索引数据，其中，通过所述索引数据能够得到至少一个数据文件所在的存储节点的标识信息；

S3.当通过所述索引数据所得到的标识信息中包括上述异常存储节点的标识信息时，对该索引数据所对应的数据文件的、位于上述异常存储节点中的子文件进行修复。

具言之，在步骤S1中，通过在检测周期内实时监测各个存储节点，当出现发生故障的异常存储节点时，获取该异常存储节点的标识信息。

在步骤S2中，读取索引数据，其中，索引数据中记录有数据文件所在的各个存储节点的标识信息。另外，如果在存储数据文件时，该数据文件被切分为多个子文件(例如，数据块和/或校验块)，并按照预定的规则或算法(例如一致性hash算法)将这些子文件分别映射到多个存储节点中，那么索引数据中既可以保存有每个子文件所在的存储节点的标识信息，也可以只保存文件名、文件大小以及子文件大小等必要的信息。可以通过上述必要的信息采用与存储数据文件时所使用的相同的规则或算法来计算出保存这些子文件的存储节点的标识信息。

在步骤S3中，根据预定的修复方法来对发生异常的数据文件的、位于异常存储节点上的子文件进行修复，例如基于副本的数据修复方法或者基于纠删码（Erasure Code，EC）算法的数据修复方法。在基于副本的数据修复方法中，源数据文件的副本同时保存在多个存储系统上，当本地的存储节点发生故障时，从其它的存储系统中获取副本从而修复本地损坏的数据文件。在基于EC算法的数据修复方法中，原始数据文件按照EC参数切分为M个数据块，另外对M个数据块进行计算后得到N个校验块，当M+N个数据块中有任意小于等于N的数据块丢失时，都可以通过一定的算法恢复出来。当然，只要能够用来修复数据，本发明不对数据修复方法作任何限制。

本发明实施例的数据修复方法能够对异常存储节点进行实时检测，当检测到异常存储节点时，通过查找索引数据能够迅速找到发生异常的数据文件，再针对该数据文件的、位于该异常存储节点上的数据文件进行修复，从而能够有效节省系统资源并减少修复周期。

图2示出了本发明的存储系统1的示意性框图。如图2所示，存储系统1包括本发明实施例的数据修复装置10和存储设备20。

存储设备20包括硬盘等存储介质，其可以为单一独立的物理硬盘，也可以为多块独立的物理硬盘按不同的方式组合起来所形成的一个硬盘组(逻辑硬盘)。在该存储设备20中，具有多个存储节点，且每个存储节点具有一个标识信息。数据文件被分成预定大小的若干数据片之后，被分别写入到多个存储节点中。另外，数据文件也可整体保存在某个存储节点中。

当从终端上传数据文件到存储系统1后，该存储系统1除了将数据文件保存到存储设备20的存储节点上之外，还生成独立的索引文件。由于索引文件非常重要并且数据量较小，因此在本发明中，采用成本相对高的、高可靠性的方式来存储索引文件。例如，当所有的索引文件均存储在同一存储节点上时，采用RAID技术来保证索引文件的数据可靠性，当将索引文件和数据文件分散到各个存储节点上时(例如，采用一致性hash算法)，采用多副本的方式(例如，3个副本)来保证数据可靠性。当然，这些技术属于本领域中的公知技术，在此不作过多的说明。

在该索引文件中，记录了每个数据文件的相关信息，并且包括存储系统中所保存的数据文件的列表。在该数据文件列表中，按照路径名/文件名的方式来标示每个数据文件，并且存储了该数据文件的文件名、文件大小、子文件大小、EC参数(M/N取值)以及该数据文件所在的存储节点列表等，这些信息构成每个数据文件的索引数据。索引数据存储在特定的地址中，以下为了方便进行说明，假设数据文件的索引数据的地址为x=1,2,3…X，即，这些索引数据对应X个数据文件。

如图2所示，根据本发明实施例的数据修复装置10包括检测单元1、读取单元2、判断单元3和修复单元4。

其中，在检测周期中，检测单元1例如通过实时监测存储设备20内的所有存储节点的运行状态来检测异常存储节点，并将所检测到的异常存储节点的标识信息发送至判断单元3。

读取单元2用于读取索引数据，并将这些索引数据发送至判断单元3。

判断单元3判断所接收到的异常存储节点的标识信息和所读取的索引数据是否相匹配，由此获取与所述标识信息相匹配的索引数据。对于一个索引数据，如果该索引数据中包括该异常存储节点的标识信息或者通过该索引数据所计算出的标识信息中包括上述异常存储节点的标识信息，换句话说，如果通过该索引数据所得到的标识信息中包括上述异常存储节点的标识信息，则判断单元3判断为该索引数据与该异常存储节点的标识信息相匹配。

修复单元4根据预定的修复方法来对与异常存储节点的标识信息相匹配的索引数据所对应的数据文件的、位于异常存储节点中的子文件进行修复。

另外，在所述修复单元对位于上述异常存储节点中的子文件进行修复之后，该数据修复装置10对所述索引数据中的与该子文件有关的信息进行更新。

以下参照图3来说明根据本发明实施例的数据修复方法的第一实施方式的流程图。本发明实施例的方法采用图2中的数据修复装置10来对存储设备20中的数据文件进行修复。

在步骤S101中，检测单元1实时检测存储设备20内的存储节点是否发生异常，当未检测到异常存储节点时，证明存储设备20运行良好，没有发生数据丢失，当检测到异常存储节点时，则进入步骤S102。

在步骤S102中，检测单元1将检测到的异常存储节点的标识信息发送到判断单元3。

在步骤S103中，读取单元2将x初始化为1，并在步骤S104中读取地址x=1的索引数据，并将该索引数据发送到判断单元3，其中该索引数据对应的数据文件即为当前数据文件。

在步骤S105中，判断单元3判断检测单元1检测到的异常存储节点的标识信息和读取单元2所读取的索引数据是否相匹配，如果相匹配，表明该异常存储节点上保存了当前数据文件(或其子文件)，即，当前数据文件发生数据丢失或损坏。在步骤S106中，修复单元4对当前数据文件的、位于该异常存储节点中的子文件进行修复。如果在步骤S105中，判断单元3判断为索引数据与异常存储节点的标识信息不相匹配，表明该异常存储节点的故障对当前数据文件没有影响，于是进入对下一个索引数据(即，地址x=2的索引数据)的处理。

在步骤S107中，读取单元2将x的值加1。

在步骤S108中，读取单元2判断地址x是否大于X；如果判断x不大于X，则表明还存在没有进行处理的索引数据，然后重新进入步骤S104，并读取地址为x的索引数据。重复执行步骤S104-S108，直到读取单元2判断为x大于X为止，此时，表明已对所有的索引数据进行了处理，于是结束本实施方式的数据修复处理。

在本实施方式中，当检测到异常存储节点时(步骤S101)，既可以立即执行后续步骤，也可以在完成对存储设备中的多个存储节点的检测之后，针对所检测到的异常存储节点执行后续处理。换句话说，在本实施方式的步骤S101中，对被检测的存储节点和检测到的异常存储节点的数量不作任何限制。

另外，在步骤S103和S104中，读取地址x为1的索引数据，在步骤S107中将地址x加1(地址x=2)，从而按照索引数据的地址由小到大的顺序进行处理。当然，本发明不限于此，例如，还可按照索引数据的地址由大到小的顺序进行处理，同样可以实现本发明。

另外，以上方法中，利用地址的不同来对每个索引数据进行区分，从而对这些索引数据对应的数据文件进行处理，但是本发明不限于此。只要能够读取所有的索引数据，本发明对读取各个索引数据的顺序、以及各个索引数据的读取或区分的方式不作任何限制。

本实施方式通过对索引文件中的每条记录(每个索引数据)进行逐一扫描，从而对各个数据文件是否受到异常存储节点影响进行判断，并且对判断为受到异常存储节点影响的数据文件进行修复。另外，在该存储系统中，不管使用的索引数据是单一索引文件还是分散在多个存储节点的多个索引文件，只要对索引文件中的所有记录(索引数据)进行逐一扫描，然后进行判断和相应的修复，即能够实现本发明。

根据该第一实施方式，本发明实施例的数据修复方法能够快速找到受到异常存储节点影响的数据文件，从而针对该数据文件的、位于异常存储节点中的子文件进行修复，由此能够有效节省系统资源并减少修复周期。

以下参照图4来说明根据本发明实施例的数据修复方法的第二实施方式流程图。本实施方式同样采用图2的数据修复装置10来对存储设备20中的数据文件进行修复，其与第一实施方式的不同之处在于：在第一实施方式中，当判断单元3判断为索引数据与异常存储节点的标识信息相匹配时，立即对该索引数据对应的数据文件进行数据修复；而在本实施方式中，首先在存储系统的全部索引数据中找出所有与异常存储节点的标识信息相匹配的索引数据，然后针对这些索引数据所对应的数据文件进行修复。本实施方式的其他内容与第一实施方式相同，以下主要针对与第一实施方式的不同之处进行说明。

在本实施方式中，步骤S201~204与第一实施方式的步骤S101~S104相同。在步骤S205中，判断单元3判断地址x=1的索引数据与异常存储节点的标识信息是否相匹配。如果判断为相匹配，则进入步骤S206，判断单元3将该索引数据的地址(即，地址x=1)发送至修复单元4，然后进入步骤S207；如果判断为不相匹配，则直接进入步骤S207。

与第一实施方式相同，重复执行步骤S204-S208，直到读取单元2判断为x大于X为止，此时处理进入步骤S209。在步骤S209中，如果修复单元4接收到了判断单元3发送的索引数据的地址信息(x)，则在步骤S210中修复单元4对该索引数据对应的数据文件的、位于异常存储节点中的子文件进行修复。另外，如果修复单元4没有接收到判断单元3发送的索引数据的地址信息，即，未找到受到该异常存储节点故障影响的数据文件，此时结束本实施方式的数据修复处理。

根据本实施方式的数据修复方法，能够实现与第一实施方式类似的技术效果。

以下参照图5来说明根据本发明的数据修复方法的第三实施方式的流程图。本实施方式同样采用图2的数据修复装置10来对存储设备20中的数据文件进行修复，其与第一实施方式的不同之处在于：在第一实施方式中，每次仅读取一个索引数据并进行判断，在本实施方式中，每次读取多个(一组)索引数据，并将其与异常存储节点的标识信息进行比较判断。本实施方式的其他内容与第一实施方式相同，以下主要针对与第一实施方式的不同之处进行说明。

在该实施方式中，将索引文件中的索引数据分为多个组，例如，将X个索引数据分为Y个组，每个组包括多个索引数据。

在步骤S303中，读取单元102将索引数据组的编号y初始化为1，并在步骤S304中读取编号为1的索引数据组（即，当前索引数据组)，并将其发送到判断单元3。

在步骤S305中，判断单元3判断当前索引数据组中是否存在与异常存储节点的标识信息相匹配的索引数据，如果存在，则在步骤S306中，修复单元4对与该索引数据相对应的数据文件进行修复。如果在步骤S305中，判断单元3判断为当前索引数据组中的所有索引数据与异常存储节点的标识信息都不相匹配，表明该异常存储节点的故障对当前索引数据组所对应的所有数据文件均没有影响，于是进入对下一个索引数据组(即，编号y=2的索引数据组)的处理。

与第一实施方式类似，重复执行步骤S304-S308，直到读取单元2判断y大于Y为止，此时由于已经对所有的索引数据组进行了处理，于是结束本实施方式的数据修复处理。

根据本实施方式的数据修复方法，也能够实现与第一实施方式类似的技术效果。

图6为本发明实施例提供的又一种数据修复装置600的结构示意图，本发明具体实施例并不对数据修复装置的具体实现做限定。如图6所示，该数据修复装置600可以包括：

处理器(processor)610、通信接口(CommunicationsInterface)620、存储器(memory)630、以及通信总线640。其中：

处理器610、通信接口620、以及存储器630通过通信总线740完成相互间的通信。

通信接口620，用于与比如客户端等的网元通信。

处理器610，用于执行程序632，具体可以执行上述图3至图5所示的方法实施例中的相关步骤。

具体地，程序632可以包括程序代码，所述程序代码包括计算机操作指令。

处理器610可能是一个中央处理器CPU，或者是特定集成电路ASIC（Application Specific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器630，用于存放程序632。存储器630可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory），例如至少一个磁盘存储器。程序632具体可以包括：

检测单元、读取单元、判断单元以及修复单元；

其中，检测单元实时检测异常存储节点，并将所检测到的异常存储节点的标识信息发送至判断单元；

所述读取单元读取索引数据，其中，所述读取单元通过所述索引数据能够得到至少一个数据文件所在的存储节点的标识信息；

当所述判断单元判断为通过所述索引数据所得到的标识信息中包括上述异常存储节点的标识信息时，所述修复单元对该索引数据所对应的数据文件的、位于上述异常存储节点中的子文件进行修复。

程序632中各单元的具体实现可以参见图2所示实施例中的相应单元，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

本领域普通技术人员可以理解实现上述实施方式中的全部或部分示例性单元及方法流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各示例性单元及方法的实施方式的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种数据修复方法，其特征在于，该方法包括：

实时检测异常存储节点，并获取所述异常存储节点的标识信息；

读取索引数据，其中，通过所述索引数据能够得到至少一个数据文件所在的存储节点的标识信息；

当通过所述索引数据所得到的标识信息中包括上述异常存储节点的标识信息时，对该索引数据所对应的数据文件的、位于上述异常存储节点中的子文件进行修复，其中，所述子文件为从所述数据文件切分出的数据块或校验块，

其中，所述异常存储节点的实时检测是通过在检测周期中实时监测所述存储节点的运行状态来实现的。

2.根据权利要求1所述的数据修复方法，其特征在于：

所述索引数据中包括所述至少一个数据文件所在的存储节点的标识信息。

3.根据权利要求1所述的数据修复方法，其特征在于：

所述索引数据中包括用于计算所述至少一个数据文件所在的存储节点的标识信息的必要信息；

所述必要信息包括数据文件名、数据文件大小以及该数据文件的子文件大小。

4.根据权利要求1所述的数据修复方法，其特征在于：

在对位于上述异常存储节点中的子文件进行修复之后，对所述索引数据中的与该子文件有关的信息进行更新。

5.一种数据修复装置，其特征在于，包括检测单元、读取单元、判断单元以及修复单元，

所述检测单元实时检测异常存储节点，并将所检测到的异常存储节点的标识信息发送至所述判断单元；

所述读取单元读取索引数据，其中，所述读取单元通过所述索引数据能够得到至少一个数据文件所在的存储节点的标识信息；

当所述判断单元判断为通过所述索引数据所得到的标识信息中包括上述异常存储节点的标识信息时，所述修复单元对该索引数据所对应的数据文件的、位于上述异常存储节点中的子文件进行修复，其中，所述子文件为从所述数据文件切分出的数据块或校验块，

其中，所述检测单元通过在检测周期中实时监测所述存储节点的运行状态来实时检测异常存储节点。

6.根据权利要求5所述的数据修复装置，其特征在于：

所述索引数据中包括所述至少一个数据文件所在的存储节点的标识信息。

7.根据权利要求5所述的数据修复装置，其特征在于：

所述索引数据中包括用于计算所述至少一个数据文件所在的存储节点的标识信息的必要信息；

所述必要信息包括数据文件名、数据文件大小以及该数据文件的子文件大小。

8.根据权利要求5所述的数据修复装置，其特征在于：

在所述修复单元对位于上述异常存储节点中的子文件进行修复之后，该数据修复装置对所述索引数据中的与该子文件有关的信息进行更新。

9.一种存储系统，包括存储设备，其特征在于，还包括权利要求5-8的其中之一所述的数据修复装置，所述存储设备中包括多个存储节点。