CN109144787A - 一种数据恢复方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种数据恢复方法，包括：当存储系统发生故障时，通过监控进程确定故障节点和故障节点的待恢复数据；判断待恢复数据的数据量是否小于存储系统的可用容量；若是，则通过恢复进程恢复待恢复数据。当存储系统具有足够的可用容量时，才执行数据恢复操作，从而可以避免恢复操作和数据访问抢占计算机资源，还可以提高数据恢复的效率和存储系统的性能。相应地，本发明公开的一种数据恢复装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种数据恢复方法、装置、设备及可读存储介质

技术领域

本发明涉及数据恢复技术领域，更具体地说，涉及一种数据恢复方法、装置、设备及可读存储介质。

背景技术

随着计算机技术和互联网技术的不断发展，数据量也逐渐增多，通常各企业采用存储系统存储数据。存储系统由多个存储节点组成，每个存储节点可看作一个存储服务器。

在现有技术中，当存储系统突发故障时，为了避免数据丢失，往往需要尽快完成数据恢复。需要说明的是，存储系统故障即为其中的存储节点故障，因此，一般情况下，需要先确定发生故障的存储节点，进而确定需要恢复的数据。目前，当存储系统突发故障时，立即确定故障位置并进行数据恢复，但是当需要恢复的数据量较大或当前存储系统的可用容量较少时，数据恢复操作则可能影响整个存储系统中的其他业务的正常运行。

例如：当存储系统中存储的数据为各类媒资数据时，由于媒资数据对系统性能的要求较高，并行执行数据恢复操作和数据访问，此二者会抢占计算机资源，进而降低了用户访问体验，当前执行的数据恢复操作的效率也有所限制。其中，媒资数据即为视频、音频、图片等类型的数据。因此，当存储系统突发故障时，若盲目恢复数据，不仅数据恢复的效率较低，整个存储系统的性能也会受到影响。

因此，如何降低数据恢复对前端访问的影响，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种数据恢复方法、装置、设备及可读存储介质，以降低数据恢复对前端访问的影响。

为实现上述目的，本发明实施例提供了如下技术方案：

一种数据恢复方法，包括：

当存储系统发生故障时，通过监控进程确定故障节点和所述故障节点的待恢复数据；

判断所述待恢复数据的数据量是否小于所述存储系统的可用容量；

若是，则通过恢复进程恢复所述待恢复数据。

其中，所述通过恢复进程恢复所述待恢复数据，包括：

判断所述待恢复数据的数据量是否小于预设的阈值；

若是，则执行所述通过恢复进程恢复所述待恢复数据的步骤。

其中，当所述待恢复数据的数据量不小于预设的阈值时，还包括：

通过所述恢复进程低速恢复所述待恢复数据。

其中，所述通过监控进程确定故障节点和所述故障节点的待恢复数据，包括：

通过监控进程确定故障节点和所述故障节点的待恢复数据，并计算所述待恢复数据的数据量。

其中，还包括：

通过所述监控进程获取所述存储系统中的各节点的已用容量。

其中，当所述待恢复数据的数据量不小于所述存储系统的可用容量时，还包括：

将所述待恢复数据的恢复进程添加至等待队列，当所述待恢复数据的数据量小于所述存储系统的可用容量时，从所述等待队列中获取所述恢复进程并执行。

一种数据恢复装置，包括：

确定模块，用于当存储系统发生故障时，通过监控进程确定故障节点和所述故障节点的待恢复数据；

判断模块，用于判断所述待恢复数据的数据量是否小于所述存储系统的可用容量；

恢复模块，用于当所述待恢复数据的数据量小于所述存储系统的可用容量时，通过恢复进程恢复所述待恢复数据。

其中，所述恢复模块包括：

判断单元，用于判断所述待恢复数据的数据量是否小于预设的阈值；

恢复单元，用于当所述待恢复数据的数据量小于预设的阈值时，通过所述恢复进程恢复所述待恢复数据。

一种数据恢复设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一项所述的数据恢复方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据恢复方法的步骤。

通过以上方案可知，本发明实施例提供的一种数据恢复方法，包括：当存储系统发生故障时，通过监控进程确定故障节点和所述故障节点的待恢复数据；判断所述待恢复数据的数据量是否小于所述存储系统的可用容量；若是，则通过恢复进程恢复所述待恢复数据。

可见，当存储系统发生故障时，首先确定故障节点和待恢复数据，进而判断待恢复数据的数据量是否小于当前存储系统的可用容量；若是，则通过恢复进程恢复待恢复数据。即：当存储系统具有足够的可用容量时，才执行数据恢复操作，从而可以避免恢复操作和数据访问抢占计算机资源；当待恢复数据的数据量小于当前存储系统的可用容量，即当前存储系统的可用容量较多时，再执行数据恢复操作，还可以提高数据恢复的效率和存储系统的性能。

相应地，本发明实施例提供的一种数据恢复装置、设备及可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种数据恢复方法流程图；

图2为本发明实施例公开的另一种数据恢复方法流程图；

图3为本发明实施例公开的一种数据恢复装置示意图；

图4为本发明实施例公开的一种数据恢复设备示意图；

图5为本发明实施例公开的一种分布式存储系统的结构框图；

图6为本发明实施例公开的第三种数据恢复方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种数据恢复方法、装置、设备及可读存储介质，以降低数据恢复对前端访问的影响。

参见图1，本发明实施例提供的一种数据恢复方法，包括：

S101、当存储系统发生故障时，通过监控进程确定故障节点和故障节点的待恢复数据；

在本实施例中，为存储系统预设监控进程，用于监控存储系统中的各个存储节点的数据存储量、可用容量以及其他相关信息。因此，当存储系统发生故障时，可通过监控进程确定出故障节点以及故障节点的待恢复数据。

S102、判断待恢复数据的数据量是否小于存储系统的可用容量；若是，则执行S103；若否，则执行S104；

S103、通过恢复进程恢复待恢复数据；

S104、等待预设时长后，执行S102。

具体的，当待恢复数据的数据量小于存储系统的可用容量时，表明当前存储系统的数据访问量较少，当前系统具备足够的容量冗余，认为可以并行进行数据恢复操作和前端数据访问。当待恢复数据的数据量不小于存储系统的可用容量时，表明当前存储系统的数据访问量较多，当前系统不具备足够的容量冗余，因此等待一段时间后再次判断待恢复数据的数据量和存储系统的可用容量的大小。其中，等待时长可以灵活预设，例如10分钟等；存储系统可以为分布式存储系统。

当恢复数据的数据量不小于存储系统的可用容量，暂不进行数据恢复，可以避免无效的恢复操作。例如：若当存储系统的可用空间为100，需要恢复的数据量为200，若此时执行数据恢复操作，由于可用容量较小，不仅恢复效率缓慢，恢复出来的数据还无法存储，因此可能导致无效恢复。

可见，本实施例提供了一种数据恢复方法，当存储系统发生故障时，首先确定故障节点和待恢复数据，进而判断待恢复数据的数据量是否小于当前存储系统的可用容量；若是，则通过恢复进程恢复待恢复数据。即：当存储系统具有足够的可用容量时，才执行数据恢复操作，从而可以避免恢复操作和数据访问抢占计算机资源，当待恢复数据的数据量小于当前存储系统的可用容量，即当前存储系统的可用容量较多时，再执行数据恢复操作，还可以提高数据恢复的效率和存储系统的性能。

本发明实施例公开了另一种数据恢复方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。

参见图2，本发明实施例提供的另一种数据恢复方法，包括：

S201、当存储系统发生故障时，通过监控进程确定故障节点和故障节点的待恢复数据；

S202、判断待恢复数据的数据量是否小于存储系统的可用容量；若是，则执行S203；若否，则执行S206；

S203、判断待恢复数据的数据量是否小于预设的阈值；若是，则执行S204；若否，则执行S205；

S204、通过恢复进程恢复待恢复数据；

S205、通过恢复进程低速恢复待恢复数据；

S206、等待预设时长后，执行S202。

在本实施例中，当待恢复数据的数据量小于存储系统的可用容量时，判断待恢复数据的数据量是否小于预设的阈值，当待恢复数据的数据量小于预设的阈值时，通过恢复进程恢复待恢复数据；当待恢复数据的数据量不小于预设的阈值时，通过恢复进程低速恢复待恢复数据。其中。所述阈值小于所述存储系统的可用容量。

具体的，本实施例提供了一种更为细致的方案，以均衡数据恢复和前端访问的计算机资源，并保证系统的冗余度。需要说明的是，阈值可以根据存储系统的可用容量进行设置，即阈值大小随系统可用容量的变化而变化。例如：以存储系统的可用容量的60％设置阈值，当系统可用容量为100时，阈值则为60；当系统可用容量为200时，阈值则为120。当然，为了简化实施方案，本实施例中的阈值大小也可以固定不变。

可见，本实施例提供了另一种数据恢复方法，当存储系统发生故障时，首先确定故障节点和待恢复数据，进而判断待恢复数据的数据量是否小于当前存储系统的可用容量；若是，则通过恢复进程恢复待恢复数据。即：当存储系统具有足够的可用容量时，才执行数据恢复操作，从而可以避免恢复操作和数据访问抢占计算机资源；当待恢复数据的数据量小于当前存储系统的可用容量，即当前存储系统的可用容量较多时，再执行数据恢复操作，还可以提高数据恢复的效率和存储系统的性能。

基于上述任意实施例，需要说明的是，所述通过监控进程确定故障节点和所述故障节点的待恢复数据，包括：

通过监控进程确定故障节点和所述故障节点的待恢复数据，并计算所述待恢复数据的数据量。

其中，还包括：

通过所述监控进程获取所述存储系统中的各节点的已用容量。

基于上述任意实施例，需要说明的是，当所述待恢复数据的数据量不小于所述存储系统的可用容量时，还包括：

将所述待恢复数据的恢复进程添加至等待队列，当所述待恢复数据的数据量小于所述存储系统的可用容量时，从所述等待队列中获取所述恢复进程并执行。

基于上述任意实施例，需要说明的是，所述判断所述待恢复数据的数据量是否小于所述存储系统的可用容量之前，还包括：

确定故障节点的故障磁盘，并判断当前故障节点的故障磁盘的数量是否超过预设的数量；

若是，则执行判断所述待恢复数据的数据量是否小于所述存储系统的可用容量的步骤；

若否，则将所述待恢复数据的恢复进程添加至等待队列，并按照等待队列中的顺序低速执行各个恢复进程。其中，等待队列中包括多个恢复进程，各个恢复进程以“先加入先执行”的原则顺序执行。

下面对本发明实施例提供的一种数据恢复装置进行介绍，下文描述的一种数据恢复装置与上文描述的一种数据恢复方法可以相互参照。

参见图3，本发明实施例提供的一种数据恢复装置，包括：

确定模块301，用于当存储系统发生故障时，通过监控进程确定故障节点和所述故障节点的待恢复数据；

判断模块302，用于判断所述待恢复数据的数据量是否小于所述存储系统的可用容量；

恢复模块303，用于当所述待恢复数据的数据量小于所述存储系统的可用容量时，通过恢复进程恢复所述待恢复数据。

其中，所述恢复模块包括：

判断单元，用于判断所述待恢复数据的数据量是否小于预设的阈值；

恢复单元，用于当所述待恢复数据的数据量小于预设的阈值时，通过所述恢复进程恢复所述待恢复数据。

其中，所述恢复模块还包括：

低速恢复单元，用于当所述待恢复数据的数据量不小于预设的阈值时，通过所述恢复进程低速恢复所述待恢复数据。

其中，所述确定模块具体用于：

通过监控进程确定故障节点和所述故障节点的待恢复数据，并计算所述待恢复数据的数据量。

其中，还包括：

获取模块，用于通过所述监控进程获取所述存储系统中的各节点的已用容量。

其中，还包括：

等待模块，用于将所述待恢复数据的恢复进程添加至等待队列，当所述待恢复数据的数据量小于所述存储系统的可用容量时，从所述等待队列中获取所述恢复进程并执行。

可见，本实施例提供了一种数据恢复装置，包括：接收模块、第一判断模块以及监测模块。当存储系统发生故障时，首先由确定模块通过监控进程确定故障节点和故障节点的待恢复数据；判断模块判断待恢复数据的数据量是否小于存储系统的可用容量；当待恢复数据的数据量小于存储系统的可用容量时，恢复模块通过恢复进程恢复待恢复数据。如此各个模块之间分工合作，各司其职，从而可以避免恢复操作和数据访问抢占计算机资源，提高数据恢复的效率和存储系统的性能。

基于上述任意实施例，可按照下述方式实施本说明书提供的数据恢复方法：

在分布式存储系统中预设监控模块MON，假设该存储系统具有1个客户端Client，6个及以上的对象存储设备OSD(Object-based Storage Device)，各个对象存储设备即为存储节点。该分布式存储系统的结构框图请参见图5。

首先在监控节点定时保存各个存储节点的已用容量，当故障发生时获取监控节点保存的故障节点的已用数据量；其次，确定故障节点中的故障磁盘，如果故障节点的所有磁盘都发生故障，或者当前故障节点中的故障磁盘数超过预设的数量，则对此需要恢复的数据量和系统可用总容量；当需要恢复的数据量大于系统可用总容量时，不进行数据恢复；当需要恢复的数据量不大于系统可用总容量时，将需要恢复的数据量与预设的阈值进行对比；如果小于该阈值，则正常进行数据恢复；如果不小于该阈值，则将系统的数据恢复速度降到最低，防止对用户读写造成影响。如果故障节点中仅有个别磁盘发生故障，则暂时不进行数据恢复，并将当前数据恢复进程加入等待队列。

请参见图6，图6为本发明实施例提供的第三种数据恢复方法流程图。其具体步骤为：

步骤1：监控模块定时获取各个存储节点的已用容量；

步骤2：判断存储系统是否发生故障；若发生故障，则进入步骤3；若未发生故障，则进入步骤4；

步骤3：判断需要恢复的数据量是否大于存储系统的可用容量；若大于，则不进行数据恢复；若不大于，则判断需要恢复的数据量是否大于一定的阈值；若大于阈值，则将恢复速度降到最低进行恢复；若不大于阈值，则进行正常的数据恢复；

步骤4：等待下一次状态更新。

下面对本发明实施例提供的一种数据恢复设备进行介绍，下文描述的一种数据恢复设备与上文描述的一种数据恢复方法及装置可以相互参照。

参见图4，本发明实施例提供的一种数据恢复设备，包括：

存储器401，用于存储计算机程序；

处理器402，用于执行所述计算机程序时实现上述任意实施例所述的数据恢复方法的步骤。

下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种数据恢复方法、装置及设备可以相互参照。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的数据恢复方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据恢复方法，其特征在于，包括：

当存储系统发生故障时，通过监控进程确定故障节点和所述故障节点的待恢复数据；

判断所述待恢复数据的数据量是否小于所述存储系统的可用容量；

若是，则通过恢复进程恢复所述待恢复数据。

2.根据权利要求1所述的数据恢复方法，其特征在于，所述通过恢复进程恢复所述待恢复数据，包括：

判断所述待恢复数据的数据量是否小于预设的阈值；

若是，则执行所述通过恢复进程恢复所述待恢复数据的步骤。

3.根据权利要求2所述的数据恢复方法，其特征在于，当所述待恢复数据的数据量不小于预设的阈值时，还包括：

通过所述恢复进程低速恢复所述待恢复数据。

4.根据权利要求1所述的数据恢复方法，其特征在于，所述通过监控进程确定故障节点和所述故障节点的待恢复数据，包括：

通过监控进程确定故障节点和所述故障节点的待恢复数据，并计算所述待恢复数据的数据量。

5.根据权利要求4所述的数据恢复方法，其特征在于，还包括：

通过所述监控进程获取所述存储系统中的各节点的已用容量。

6.根据权利要求1-5任意一项所述的数据恢复方法，其特征在于，当所述待恢复数据的数据量不小于所述存储系统的可用容量时，还包括：

将所述待恢复数据的恢复进程添加至等待队列，当所述待恢复数据的数据量小于所述存储系统的可用容量时，从所述等待队列中获取所述恢复进程并执行。

7.一种数据恢复装置，其特征在于，包括：

确定模块，用于当存储系统发生故障时，通过监控进程确定故障节点和所述故障节点的待恢复数据；

判断模块，用于判断所述待恢复数据的数据量是否小于所述存储系统的可用容量；

恢复模块，用于当所述待恢复数据的数据量小于所述存储系统的可用容量时，通过恢复进程恢复所述待恢复数据。

8.根据权利要求7所述的数据恢复装置，其特征在于，所述恢复模块包括：

判断单元，用于判断所述待恢复数据的数据量是否小于预设的阈值；

恢复单元，用于当所述待恢复数据的数据量小于预设的阈值时，通过所述恢复进程恢复所述待恢复数据。

9.一种数据恢复设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-6任意一项所述的数据恢复方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的数据恢复方法的步骤。