CN110389863A

CN110389863A - 一种数据恢复方法、装置、设备及计算机可读存储介质

Info

Publication number: CN110389863A
Application number: CN201910683593.9A
Authority: CN
Inventors: 邵宁
Original assignee: Suzhou Wave Intelligent Technology Co Ltd
Current assignee: Suzhou Wave Intelligent Technology Co Ltd
Priority date: 2019-07-26
Filing date: 2019-07-26
Publication date: 2019-10-29

Abstract

本发明公开了一种数据恢复方法、装置、设备及计算机可读存储介质，该方法包括：如果接收到写请求，则将写请求对应数据写入至全部可用的副本中，记录每个可用的副本中改变的数据的位置及大小至该可用的副本的日志中；如果需要利用第一副本对第二副本进行数据更新，则将第一副本及第二副本的日志进行比对，得到差异信息；第一副本和第二副本互为副本，且第一副本为在第二副本发生异常的期间可用的副本；基于差异信息定位第一副本中对应位置及大小的数据，并基于定位到的数据对第二副本中的数据进行更新。本申请通过这种细粒度的数据恢复方法，节省了存储服务器恢复数据时占用的服务器资源，从而对正常的客户端数据存取业务造成尽可能小的影响。

Description

一种数据恢复方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及数据存储技术领域，更具体地说，涉及一种数据恢复方法、装置、设备及计算机可读存储介质。

背景技术

在大数据时代，数据成为一种重要资源，数据存储系统的高可用性尤为重要。数据存储系统一般使用数据的冗余来提高可用性，比如多副本和纠删码。以两副本为例，客户端写入数据的时候，存储服务器会在数据存储系统中不同位置(比如不同磁盘)写两份一模一样的数据，都写入成功后，才给客户端返回成功；由此，当其中一个磁盘损坏时，数据仍然是安全且可用的。

假设数据存储时以对象为最小存储单元，一般情况下，为了保证存储服务的持续可用性，存储服务器在写入数据的同时，会记录此次写入操作的日志信息(包括：写入的对象名称、版本号等)。在一个副本(如磁盘)暂时不能写入时(比如该磁盘对应的服务故障时)，存储服务器会暂时只写入其他可用的副本，并记录日志，等到这个暂时不能写入的副本恢复服务时，根据其他可用的副本记录的日志信息和这个故障过的副本记录的日志信息对比，找到差异数据，以此为依据从其他副本向这个中断过服务的副本恢复数据，从而保证所有副本的数据一致性。

当前数据存储系统根据日志信息进行数据恢复，在进行日志对比时，只比较出存在差异的对象。然后从其他副本拷贝最新版本的对象来覆盖当前副本中旧版本的对象。这样会有一个问题，如果该对象大小为10M，而该副本中断服务期间，其他副本上仅修改了该对象的1K大小的数据，那么数据恢复时仍需要拷贝10M的数据来恢复此对象，这样的恢复粒度比较大，会占用很多服务器资源(包括：CPU、内存、网络带宽等)。

综上所述，现有技术实现数据恢复的技术方案存在占用服务器资源过多的问题。

发明内容

本发明的目的是提供一种数据恢复方法、装置、设备及计算机可读存储介质，能够解决现有技术实现数据恢复的技术方案存在的占用服务器资源过多的问题。

为了实现上述目的，本发明提供如下技术方案：

一种数据恢复方法，包括：

如果接收到写请求，则将所述写请求对应数据写入至全部可用的副本中，记录每个可用的副本中改变的数据的位置及大小至该可用的副本的日志中；

如果需要利用第一副本对第二副本进行数据更新，则将所述第一副本及所述第二副本的日志进行比对，得到差异信息；所述第一副本和所述第二副本互为副本，且所述第一副本为在所述第二副本发生异常的期间可用的副本；

基于所述差异信息定位所述第一副本中对应位置及大小的数据，并基于定位到的数据对所述第二副本中的数据进行更新。

优选的，基于定位到的数据对所述第二副本中的数据进行更新，包括：

判断定位到的数据是否存在位于同一存储单元中的数据，如果是，则确定位于同一存储单元中的数据对应的最小地址及最大地址之间的数据为目标数据，将所述目标数据更新至所述第二副本中。

优选的，判断定位到的数据是否存在位于同一存储单元中的数据之前，还包括：

判断是否设置有合并标记，如果是，则执行判断定位到的数据是否存在位于同一存储单元中的数据的步骤，如果否，则直接将定位到的数据更新至所述第二副本中。

优选的，还包括：

实时对各个副本进行监控，如果监控到任一副本发生异常，则为该发生异常的副本设置故障标记。

一种数据恢复装置，包括：

写模块，用于：如果接收到写请求，则将所述写请求对应数据写入至全部可用的副本中，记录每个可用的副本中改变的数据的位置及大小至该可用的副本的日志中；

比对模块，用于：如果需要利用第一副本对第二副本进行数据更新，则将所述第一副本及所述第二副本的日志进行比对，得到差异信息；所述第一副本和所述第二副本互为副本，且所述第一副本为在所述第二副本发生异常的期间可用的副本；

更新模块，用于：基于所述差异信息定位所述第一副本中对应位置及大小的数据，并基于定位到的数据对所述第二副本中的数据进行更新。

优选的，所述更新模块包括：

第一更新单元，用于：判断定位到的数据是否存在位于同一存储单元中的数据，如果是，则确定位于同一存储单元中的数据对应的最小地址及最大地址之间的数据为目标数据，将所述目标数据更新至所述第二副本中。

优选的，所述更新模块还包括：

第二更新单元，用于：判断定位到的数据是否存在位于同一存储单元中的数据之前，判断是否设置有合并标记，如果是，则执行判断定位到的数据是否存在位于同一存储单元中的数据的步骤，如果否，则直接将定位到的数据更新至所述第二副本中。

优选的，还包括：

监控模块，用于：实时对各个副本进行监控，如果监控到任一副本发生异常，则为该发生异常的副本设置故障标记。

一种数据恢复设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述数据恢复方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述数据恢复方法的步骤。

本发明提供了一种数据恢复方法、装置、设备及计算机可读存储介质，其中，该方法包括：如果接收到写请求，则将所述写请求对应数据写入至全部可用的副本中，记录每个可用的副本中改变的数据的位置及大小至该可用的副本的日志中；如果需要利用第一副本对第二副本进行数据更新，则将所述第一副本及所述第二副本的日志进行比对，得到差异信息；所述第一副本和所述第二副本互为副本，且所述第一副本为在所述第二副本发生异常的期间可用的副本；基于所述差异信息定位所述第一副本中对应位置及大小的数据，并基于定位到的数据对所述第二副本中的数据进行更新。本申请公开的技术方案，在向副本中写入数据的同时将副本此次写入数据导致的发生变化的数据的位置及大小记录至副本对应的日志中，从而在需要对发生过故障的第二副本中的数据进行恢复时，将在第二副本发生故障期间正常工作的第一副本的日志与第二副本的日志进行比对，得到两者之间的差异信息，基于差异信息定位到第一副本中对应位置及大小的数据，再利用定位到的数据更新第二副本中的数据，从而在需要实现数据恢复时不再需要拷贝整个存储单元，而是仅拷贝发生变化的数据实现对第二副本的更新，从而通过这种细粒度的数据恢复方法，节省了存储服务器恢复数据时占用的CPU、内存及网络带宽等服务器资源，从而对正常的客户端数据存取业务造成尽可能小的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据恢复方法的流程图；

图2为本发明实施例提供的一种数据恢复方法中日志对比示意图；

图3为本发明实施例提供的一种数据恢复装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种数据恢复方法的流程图，可以包括：

S11：如果接收到写请求，则将写请求对应数据写入至全部可用的副本中，记录每个可用的副本中改变的数据的位置及大小至该可用的副本的日志中。

需要说明的是，本发明实施例提供的一种数据恢复方法的执行主语可以为对应的数据恢复装置，而该数据恢复装置可以设置于数据存储系统中，因此本发明实施例提供的一种数据恢复方法的执行主语可以为数据存储系统，以下以执行主语为数据存储系统为例进行详细说明。

多副本是一种数据保护方法，它将一份数据保存多个相同的副本，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。在接收到写请求时，需要将写请求对应的数据写入至数据存储系统中当前全部可用的副本中，具体来说，将写请求对应的数据写入至副本中包括将新的数据直接加入至副本中，也包括对副本中包含的数据进行修改；对应的，记录副本中改变的数据的位置及大小包括记录直接加入至副本中的数据的位置及大小，也包括副本中修改的数据的位置及大小。其中，数据的位置及大小可以分别用数据在副本中的偏移量及表示数据大小的数据量表示；可用的副本即为当前没有发生故障、能够正常提供数据存储功能的副本。

S12：如果需要利用第一副本对第二副本进行数据更新，则将第一副本及第二副本的日志进行比对，得到差异信息；第一副本和第二副本互为副本，且第一副本为在第二副本发生异常的期间可用的副本。

需要说明的是，如果某副本发生故障，在该发生过故障的副本恢复正常以后，则需要利用在该发生过故障的副本故障期间能够正常工作的副本，对该发生过故障的副本进行数据恢复，即将该发生过故障的副本故障期间应发生改变的数据更新到该发生过故障的副本中，以使得该发生过故障的副本中数据与在该发生过故障的副本故障期间能够正常工作的副本中的数据一致，从而实现数据恢复。具体来说，将发生过故障的副本称为第二副本，在第二副本发生故障期间(或者说发生异常期间)能够正常工作提供数据存储功能的副本称为第一副本。由于每个副本均具有对应的日志，因此将第一副本及第二副本的日志进行比对得到对应的差异信息，该差异信息对应的数据即为第一副本及第二副本中存在差异的数据，也即为在第二副本发生故障期间应改变的数据，因此本实施例中确定出差异信息，并基于差异信息确定出第一副本中对应位置及大小的数据后，则可以利用确定出的数据更新第二副本中的数据，实现第二副本故障期间的数据恢复。另外，得到的差异信息可以包括第二副本中需要恢复的数据在第一副本中所属存储单元的列表，列表中包含的每条信息包含需要恢复的数据在第一副本中所属存储单元、位置、数据大小等，具体还可以根据实际需要进行其他设定。

S13：基于差异信息定位第一副本中对应位置及大小的数据，并基于定位到的数据对第二副本中的数据进行更新。

由于每次向副本中写入数据时均在对应的日志中记录了此次写操作导致副本中变化的数据的位置及大小，因此在基于第一副本及第二副本的日志确定出两者的差异信息(差异的日志信息)后，即可确定出差异的信息在第一副本中的数据为需要恢复至第二副本中的数据，从而在实现数据恢复时仅需要实现第一副本中改变的数据至第二副本中的更新，并不必须按照整个存储单元的方式进行更新，从而通过这种细粒度的数据恢复方法大大减少了服务器资源的占用。

另外，在基于定位到的数据对第二副本中的数据进行更新时，如果定位到的数据是在第二副本故障期间直接加入至第一副本中的数据，则可以直接将定位到的数据拷贝至第二副本中；如果定位到的数据是在第二副本故障期间对第一副本中的数据进行修改得到的数据，则可以将定位到的数据拷贝至第二副本中并覆盖第二副本中需要被修改的数据；且无论上述哪种情况，如果存在差异信息(差异的日志信息)中有对应同一数据的多条日志信息，则仅利用最新的(距离当前时刻最近的时间生成的)一条日志信息在第一副本中定位到对应的数据，进而利用定位到的数据对第二副本中的数据进行更新。

具体来说，在日志中添加偏移量和用于表示数据大小的数据量时，本发明实施例提供的上述数据恢复方法的示意图可以如图2所示，其中，正常副本的日志即为第一副本的日志，需要恢复数据的副本的日志即为第二副本的日志；从而通过这种方式实现细粒度的数据恢复。

本申请公开的技术方案，在向副本中写入数据的同时将副本此次写入数据导致的发生变化的数据的位置及大小记录至副本对应的日志中，从而在需要对发生过故障的第二副本中的数据进行恢复时，将在第二副本发生故障期间正常工作的第一副本的日志与第二副本的日志进行比对，得到两者之间的差异信息，基于差异信息定位到第一副本中对应位置及大小的数据，再利用定位到的数据更新第二副本中的数据，从而在需要实现数据恢复时不再需要拷贝整个存储单元，而是仅拷贝发生变化的数据实现对第二副本的更新，从而通过这种细粒度的数据恢复方法，节省了存储服务器恢复数据时占用的CPU、内存及网络带宽等服务器资源，从而对正常的客户端数据存取业务造成尽可能小的影响。

本发明实施例提供的一种数据恢复方法，基于定位到的数据对第二副本中的数据进行更新，可以包括：

判断定位到的数据是否存在位于同一存储单元中的数据，如果是，则确定位于同一存储单元中的数据对应的最小地址及最大地址之间的数据为目标数据，将目标数据更新至第二副本中。

需要说明的是，本实施例中的存储单元可以指对象、文件等，具体可以根据实际需要进行设定。在定位到用于实现数据更新的数据后，可以判断定位到的数据中是否存在位于同一存储单元中的数据，对于位于同一存储单元中的数据，可以将定位到的位于同一存储单元中的数据所在的最小地址和最大地址之间的数据作为一个整体的数据拷贝至第二副本中，也即对同一存储单元中的定位到的数据进行合并，取并集；而对于单个存在于某个存储单元中的数据，则可以直接将该单个存在于某个存储单元中的数据更新至第二副本中；从而通过这种方式不仅实现了细粒度的数据恢复，且对于位于同一存储单元中的数据能够避免多次多个数据的拷贝，从而进一步提高了数据恢复速率。

本发明实施例提供的一种数据恢复方法，判断定位到的数据是否存在位于同一存储单元中的数据之前，还可以包括：

判断是否设置有合并标记，如果是，则执行判断定位到的数据是否存在位于同一存储单元中的数据的步骤，如果否，则直接将定位到的数据更新至第二副本中。

需要说明的是，合并标记可以是由工作人员根据服务器使用情况设置的，如果想要尽量避免多个多次数据的拷贝，则设置合并标记，如果想要尽量避免多余数据的拷贝，则不设置合并标记，从而通过判断是否设置有合并标记，确定在实现数据拷贝时所需要依据的规则，也即是否需要执行判断定位到的数据是否存在位于同一存储单元中的数据的步骤及后续步骤，从而增强了数据恢复方法的灵活性，使得该数据恢复方法更能符合服务器的使用情况。

另外需要说明的是，无论何时基于差异信息定位第一副本中对应位置及大小的数据时，包括有合并标记和没有合并标记的情况，只要差异信息中对应同一数据存在多条日志信息，则均需要基于最新的一条日志信息(距离当前时刻最近的时间生成的一条日志信息)定位到上述对应差异信息中多条日志信息的数据，再基于定位到的数据对第二副本中的数据进行更新。对于差异信息中不同日志信息所对应数据的位置具有重叠的情况，也需按照上述方式定位到对应数据进行第二副本中的数据更新；如差异信息中包含两条日志信息，第一条日志信息为13：00的时间点对偏移量(或者说地址)为100至300的数据进行修改的信息，第二条日志信息为13：30的时间点对偏移量为200至400的数据进行修改的信息，则需要由第一副本中定位到偏移量为100至400的数据，具体来说，对于第一副本中偏移量为100至200之间的数据以第一条日志信息为准进行数据定位，对于第一副本中偏移量为200至400之间的数据则以第二条日志信息为准进行数据定位，从而以利用最新的数据实现第二副本的数据恢复。

本发明实施例提供的一种数据恢复方法，还可以包括：

需要说明的是，实时对各个副本进行监控，从而在某个副本发生异常时自动为该异常的副本设置故障标记，从而能够通过该故障标记即可定位到需要进行数据恢复的副本，进而实现对应的数据恢复，从而方便了数据恢复方法的快速实现。另外，如果需要获取副本的情况，也可以通过故障标记及时获知副本出现异常这一情况，进而对其进行修复，可见故障标记的设置也能够便于对副本的情况的获知。

本发明实施例还提供了一种数据恢复装置，如图3所示，可以包括：

写模块11，用于：如果接收到写请求，则将写请求对应数据写入至全部可用的副本中，记录每个可用的副本中改变的数据的位置及大小至该可用的副本的日志中；

比对模块12，用于：如果需要利用第一副本对第二副本进行数据更新，则将第一副本及第二副本的日志进行比对，得到差异信息；第一副本和第二副本互为副本，且第一副本为在第二副本发生异常的期间可用的副本；

更新模块13，用于：基于差异信息定位第一副本中对应位置及大小的数据，并基于定位到的数据对第二副本中的数据进行更新。

本发明实施例提供的一种数据恢复装置，更新模块可以包括：

第一更新单元，用于：判断定位到的数据是否存在位于同一存储单元中的数据，如果是，则确定位于同一存储单元中的数据对应的最小地址及最大地址之间的数据为目标数据，将目标数据更新至第二副本中。

本发明实施例提供的一种数据恢复装置，更新模块还可以包括：

第二更新单元，用于：判断定位到的数据是否存在位于同一存储单元中的数据之前，判断是否设置有合并标记，如果是，则执行判断定位到的数据是否存在位于同一存储单元中的数据的步骤，如果否，则直接将定位到的数据更新至第二副本中。

本发明实施例提供的一种数据恢复装置，还可以包括：

本发明实施例还提供了一种数据恢复设备，可以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上任一项数据恢复方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可以实现如上任一项数据恢复方法的步骤。

需要说明的是，本发明实施例提供的一种数据恢复装置、设备及计算机可读存储介质中相关部分的说明请参见本发明实施例提供的一种数据恢复方法中对应部分的详细说明，在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据恢复方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于定位到的数据对所述第二副本中的数据进行更新，包括：

3.根据权利要求2所述的方法，其特征在于，判断定位到的数据是否存在位于同一存储单元中的数据之前，还包括：

4.根据权利要求3所述的方法，其特征在于，还包括：

5.一种数据恢复装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，所述更新模块包括：

7.根据权利要求6所述的装置，其特征在于，所述更新模块还包括：

8.根据权利要求7所述的装置，其特征在于，还包括：

9.一种数据恢复设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述数据恢复方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据恢复方法的步骤。