CN111858169A - 一种数据恢复方法、系统及相关组件 - Google Patents

Abstract

本申请公开了一种数据恢复方法，包括：确定待恢复数据块；通过原始数据块对应的原始矩阵及校验数据块对应的校验矩阵得到目标矩阵，目标矩阵中的校验矩阵位于待恢复数据块对应矩阵的位置；将目标矩阵拆分为多个n×n的矩阵，确定各个矩阵中的待求逆矩阵，分别对各个待求逆矩阵求逆，根据各个待求逆矩阵的逆矩阵得到目标矩阵的柯西逆矩阵，n为正整数；根据柯西逆矩阵、原始数据块及校验数据块的乘积对待恢复数据块进行数据恢复。本申请能够省略大部分运算，降低运算复杂度，提高运算速度，从而提高采用纠删码技术的数据恢复速度。本申请还公开了一种数据恢复系统、装置及计算机可读存储介质，具有以上有益效果。

Description

一种数据恢复方法、系统及相关组件

技术领域

本申请涉及服务器领域，特别涉及一种数据恢复方法、系统及相关组件。

背景技术

面对海量数据的存储要求，分布式存储以其成本低廉，可扩展性好等优势逐渐取代了统一存储的主导地位，在理论研究和实际应用方面得到了越来越多的关注。分布式存储系统多以廉价的磁盘作为存储节点，每个存储节点的可靠性往往不会很高，另一方面，一个分布式存储系统通常包含很多的节点，由于软硬件故障，人为失误等原因，系统常常发生节点失效的情况。为了提高分布式存储系统的数据可靠性，保证数据收集节点能以很高的概率实现原始文件的重构，需要在存储原始数据的基础上，额外存储一定数量的冗余，使得在出现部分节点失效的情况下，系统仍然可以正常运行，数据收集节点仍然可以对原始文件实现解码恢复。

目前，现有技术中采用纠删码技术对数据进行恢复，而不同的编码情况下，丢失存储数据块的组合是随机的，因此，纠删码技术在解码时需要对随机组合的矩阵求逆，给基于柯西矩阵的存储数据恢复增加了计算复杂度，导致采用纠删码技术的数据恢复速度过慢。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本申请的目的是提供一种数据恢复方法、系统、装置及计算机可读存储介质，能够省略大部分运算，降低运算复杂度，提高运算速度，从而提高采用纠删码技术的数据恢复速度。

为解决上述技术问题，本申请提供了一种数据恢复方法，包括：

确定待恢复数据块；

通过原始数据块对应的原始矩阵及校验数据块对应的校验矩阵得到目标矩阵，所述目标矩阵中的所述校验矩阵位于所述待恢复数据块对应矩阵的位置；

将所述目标矩阵拆分为多个n×n的矩阵，确定各个所述矩阵中的待求逆矩阵，分别对各个所述待求逆矩阵求逆，根据各个所述待求逆矩阵的逆矩阵得到所述目标矩阵的柯西逆矩阵，n为正整数；

根据所述柯西逆矩阵、所述原始数据块及所述校验数据块的乘积对所述待恢复数据块进行数据恢复。

优选的，所述将所述目标矩阵拆分为多个n×n的矩阵，确定各个所述矩阵中的待求逆矩阵，分别对各个所述待求逆矩阵求逆的过程具体为：

将所述目标矩阵拆分为多个n×n的矩阵；

确定各个所述矩阵中的待求逆矩阵；

根据各个所述矩阵的矩阵特性对各个所述待求逆矩阵求逆。

优选的，所述根据各个所述矩阵的矩阵特性对各个所述待求逆矩阵求逆的过程具体包括：

当所述待求逆矩阵为E矩阵与柯西矩阵的混杂矩阵，则将该矩阵拆分为多个n×n的子矩阵，根据各个所述子矩阵的逆矩阵得到该待求逆矩阵的逆矩阵。

优选的，所述根据各个所述矩阵的矩阵特性对各个所述待求逆矩阵求逆的过程具体包括：

当所述待求逆矩阵为柯西矩阵，通过拉格朗日插值法计算该待求逆矩阵的逆矩阵。

优选的，所述根据各个所述待求逆矩阵的逆矩阵得到所述目标矩阵的柯西逆矩阵的过程具体为：

根据各个所述待求逆矩阵的逆矩阵，通过补零操作得到所述目标矩阵的柯西逆矩阵。

为解决上述技术问题，本申请还提供了一种数据恢复系统，包括：

确定模块，用于确定待恢复数据块；

调整模块，用于通过原始数据块对应的原始矩阵及校验数据块对应的校验矩阵得到目标矩阵，所述目标矩阵中的所述校验矩阵位于所述待恢复数据块对应矩阵的位置；

拆分模块，用于将所述目标矩阵拆分为多个n×n的矩阵，确定各个所述矩阵中的待求逆矩阵，分别对各个所述待求逆矩阵求逆，根据各个所述待求逆矩阵的逆矩阵得到所述目标矩阵的柯西逆矩阵，n为正整数；

恢复模块，用于根据所述柯西逆矩阵、所述原始数据块及所述校验数据块的乘积对所述待恢复数据块进行数据恢复。

优选的，所述将所述目标矩阵拆分为多个n×n的矩阵，分别对各个所述矩阵求逆的过程具体为：

将所述目标矩阵拆分为多个n×n的矩阵；

根据各个所述矩阵的矩阵特性对各个所述矩阵求逆。

优选的，所述根据各个所述矩阵的矩阵特性对各个所述矩阵求逆的过程具体包括：

当所述矩阵为E矩阵与柯西矩阵的混杂矩阵，则将该矩阵拆分为多个n×n的子矩阵，根据各个所述子矩阵的逆矩阵得到该矩阵的逆矩阵。

为解决上述技术问题，本申请还提供了一种数据恢复装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上文任意一项所述的数据恢复方法的步骤。

为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文任意一项所述的数据恢复方法的步骤。

本申请提供了一种数据恢复方法，考虑到在分布式存储中，RS编码矩阵是考虑存储具体可能的丢失情况设置的，本申请在生成目标矩阵时，还存留的数据块对应矩阵放在原始位置，而将校验矩阵按顺序填入丢失码块对应矩阵位置，然后将目标矩阵拆分组合成简单个小型矩阵，分别对小型矩阵求逆，从而得到目标矩阵对应的柯西逆矩阵，省略大部分运算，降低运算复杂度，提高运算速度，从而提高采用纠删码技术的数据恢复速度。本申请还提供了一种数据恢复系统、装置及计算机可读存储介质，具有和上述数据恢复方法相同的有益效果。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种数据恢复方法的步骤流程图；

图2为本申请所提供的一种目标矩阵分块的示意图；

图3为本申请所提供的一种数据恢复系统的结构示意图。

具体实施方式

本申请的核心是提供一种数据恢复方法、系统、装置及计算机可读存储介质，能够省略大部分运算，降低运算复杂度，提高运算速度，从而提高采用纠删码技术的数据恢复速度。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于理解本申请所提供的一种数据恢复方法，在此首先对纠删码进行说明，纠删码(Erasure Code)属于编码理论中的一种向前纠错技术，最早应用于通信领域以解决数据传输中的丢失与损耗这类问题。由于纠删码技术在防止数据丢失取得了较好的效果，因此被引入存储领域。纠删码可以在保证相同可靠性的前提下有效地降低存储开销，因此纠删码技术被广泛地应用于各大存储系统以及数据中心例如微软的Azure、Facebook的F4等。纠删码的种类众多，在实际存储系统中较常见的有应用在分布式环境下的RS码(Reed-Solomon Code)，RS码与两个参数k和r相关。给定两个正整数k和r，RS码将k个数据块编码为r个额外的校验块。而r个校验块基于柯西矩阵进行编码获得方式就称为利用柯西矩阵编码的RS纠删码，具体编码过程如下所示：

上部分的k×k矩阵对应的就是k个原始数据块，下部分的r×k矩阵对应的就是柯西矩阵，通过与原始数据D₁到D_k相乘，得到新添加的P₁到P_r就是编码所得到的r个校验数据。当其中任意多r个数据在传输中出错或丢失，需要纠错时，即用剩余数据对应矩阵的逆矩阵与数据相乘，即会得到原始数据块D₁到D_k，以D₁到D_r数据丢失，进行解码为例，过程如下所示：

下面对本申请所提供的一种数据恢复方法进行详细说明。

请参照图1，图1为本申请所提供的一种数据恢复方法的步骤流程图，该数据恢复方法包括：

S101：确定待恢复数据块；

S102：通过原始数据块对应的原始矩阵及校验数据块对应的校验矩阵得到目标矩阵，目标矩阵中的校验矩阵位于待恢复数据块对应矩阵的位置；

具体的，首先确定原始数据块中的丢失的数据块即本步骤中的待恢复数据块，以k＝4，r＝2为例，此时原始数据块4块分比为D₁、D₂、D₃、D₄，增加的校验码块2块，分别为P₁和P₂。则使用柯西矩阵编码的RS纠删编码矩阵为：

假设传输后丢失数据块为D2、D3，则解码恢复数据块的方式为：

考虑到，在分布式存储中，RS编码矩阵是考虑存储具体可能的丢失情况设置的，因此针对不同的数据块丢失情况，为能够恢复原始数据块，都会利用添加的校验码矩阵重新拼成一个k×k的目标矩阵，本申请首先进行矩阵行位置置换，将还存留的数据块(即原始数据块)对应的矩阵放在原始位置，而将校验数据块对应的校验矩阵按顺序填入丢失的数据块对应矩阵位置，得到[D1，P1，P2，D4]^T对应的目标矩阵，提高后续的运算速度，从而提高对丢失的数据块的恢复效率，执行完行位置置换后的目标矩阵如下：

S103：将目标矩阵拆分为多个n×n的矩阵，确定各个矩阵中的待求逆矩阵，分别对各个待求逆矩阵求逆，根据各个待求逆矩阵的逆矩阵得到目标矩阵的柯西逆矩阵，n为正整数；

具体的，为便于计算该目标矩阵的柯西逆矩阵，本申请首先进行矩阵分块，将目标矩阵拆分为多个n×n的矩阵，分块后的目标矩阵的示意图参照图2所示，为便于后续描述，四块分别为ABCD四个n×n的矩阵，则k×k的矩阵可以描述为

基于矩阵特性可知，其逆矩阵可以转换为：

其中，A，D为待求逆矩阵，分别考虑考虑A矩阵和D矩阵的矩阵特性继续划分，以A矩阵为例，基于RS编码和柯西矩阵特性，此时会有四种情况：A矩阵是E矩阵、A矩阵是柯西矩阵、A矩阵是E矩阵与柯西矩阵的混杂矩阵以及A矩阵是1×1的最小矩阵，针对上述四种情况，采用不同的方案求逆：

当A矩阵是E矩阵，可以理解的是，E矩阵的逆即为自己，因此得到解A^-1＝A，作为输出，完成运算；

当A矩阵是柯西矩阵，为完成柯西矩阵求逆，首先构造：

如式(1)所示，这样构造下Z＝[z_ij]表示的是n×n阶的柯西矩阵的逆矩阵，求逆问题转换为求Z的问题。根据以上公式，使用拉格朗日插值法求k个b的值，利用当i＝m时的结果应为1特性，定义朗格朗日插值法基本多项式：

转换为：

考虑a_j进行拉格朗日插值展开可得：

结合上式求逆矩阵Z可知：

结合L(x)和上式关系可得：

结合以上公式可以展开对z的推导，得到z为：

至此，得到A矩阵是柯西矩阵情况下，求得逆矩阵的每一个元素值，当A矩阵为混合矩阵，则返回将矩阵拆分为多个n×n的矩阵的步骤。

当矩阵是1×1的矩阵，此时矩阵的逆即是本身元素的倒数。以上四种情况以状态机形式结合第二步重新分块后的小矩阵块进行迭代判断，直到完全求得逆所需要的元素。

设得到最小柯西阵D后，A矩阵为E矩阵，在上述矩阵分块运算中可以被消掉。因此剩余-D^-1·C·A^-1可以优化为-D^-1·C，此时D的逆矩阵已通过上述四步操作求出，直接与-C部分相乘，即会得到-D^-1·C，然后对其他分块补零操作，得到k×k的矩阵，该矩阵即目标矩阵的柯西逆矩阵。

S104：根据柯西逆矩阵、原始数据块及校验数据块的乘积对待恢复数据块进行数据恢复。

具体的，将柯西逆矩阵乘以重新排序后对应的存储数据块即可得到原始存储数据块，实现对待恢复数据块的数据恢复。

可以理解的是，某些情况下实际为E的A矩阵块会出现在D的位置，相应的D和C会出现在上行，这并不影响本申请的操作顺序，只改变A，C，D相应的运算位置即可。

综上，采用本申请的方案，利用柯西矩阵和RS编码矩阵特性，通过对待求逆矩阵分析和排列组合，结合柯西矩阵和利用柯西矩阵进行编码的RS矩阵特性，将待求逆矩阵拆分成不同的特殊矩阵，利用矩阵特性和拉格朗日插值法直接生成逆矩阵。可适用于多重复杂情况，并通过拆分组合成简单个小型矩阵，省略大部分运算，降低运算复杂度，提高运算速度，算法模式单向且易于复用，通过状态机可以迭代执行，不仅适用于软件需求，亦适用于硬件电路的实现，填补了硬件RS解码器的空白。

请参照图3，图3为本申请所提供的一种数据恢复系统的结构示意图，该数据恢复系统包括：

确定模块1，用于确定待恢复数据块；

调整模块2，用于通过原始数据块对应的原始矩阵及校验数据块对应的校验矩阵得到目标矩阵，目标矩阵中的校验矩阵位于待恢复数据块对应矩阵的位置；

拆分模块3，用于将目标矩阵拆分为多个n×n的矩阵，确定各个矩阵中的待求逆矩阵，分别对各个待求逆矩阵求逆，根据各个待求逆矩阵的逆矩阵得到目标矩阵的柯西逆矩阵，n为正整数；

恢复模块4，用于根据柯西逆矩阵、原始数据块及校验数据块的乘积对待恢复数据块进行数据恢复。

作为一种优选的实施例，将目标矩阵拆分为多个n×n的矩阵，确定各个矩阵中的待求逆矩阵，分别对各个待求逆矩阵求逆的过程具体为：

将目标矩阵拆分为多个n×n的矩阵；

确定各个矩阵中的待求逆矩阵；

根据各个矩阵的矩阵特性对各个待求逆矩阵求逆。

作为一种优选的实施例，根据各个矩阵的矩阵特性对各个待求逆矩阵求逆的过程具体包括：

当待求逆矩阵为E矩阵与柯西矩阵的混杂矩阵，则将该矩阵拆分为多个n×n的子矩阵，根据各个子矩阵的逆矩阵得到该待求逆矩阵的逆矩阵。

作为一种优选的实施例，根据各个矩阵的矩阵特性对各个待求逆矩阵求逆的过程具体包括：

当待求逆矩阵为柯西矩阵，通过拉格朗日插值法计算该待求逆矩阵的逆矩阵。

作为一种优选的实施例，根据各个待求逆矩阵的逆矩阵得到目标矩阵的柯西逆矩阵的过程具体为：

根据各个待求逆矩阵的逆矩阵，通过补零操作得到目标矩阵的柯西逆矩阵。

另一方面，本申请还提供了一种数据恢复装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上文任意一项的数据恢复方法的步骤。

对于本申请所提供的一种数据恢复装置的介绍请参照上述实施例，本申请在此不再赘述。

本申请所提供的一种数据恢复装置具有和上述数据恢复方法相同的有益效果。

另一方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上文任意一项的数据恢复方法的步骤。

对于本申请所提供的一种计算机可读存储介质的介绍请参照上述实施例，本申请在此不再赘述。

本申请所提供的一种计算机可读存储介质具有和上述数据恢复方法相同的有益效果。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据恢复方法，其特征在于，包括：

确定待恢复数据块；

通过原始数据块对应的原始矩阵及校验数据块对应的校验矩阵得到目标矩阵，所述目标矩阵中的所述校验矩阵位于所述待恢复数据块对应矩阵的位置；

将所述目标矩阵拆分为多个n×n的矩阵，确定各个所述矩阵中的待求逆矩阵，分别对各个所述待求逆矩阵求逆，根据各个所述待求逆矩阵的逆矩阵得到所述目标矩阵的柯西逆矩阵，n为正整数；

根据所述柯西逆矩阵、所述原始数据块及所述校验数据块的乘积对所述待恢复数据块进行数据恢复。

2.根据权利要求1所述的数据恢复方法，其特征在于，所述将所述目标矩阵拆分为多个n×n的矩阵，确定各个所述矩阵中的待求逆矩阵，分别对各个所述待求逆矩阵求逆的过程具体为：

将所述目标矩阵拆分为多个n×n的矩阵；

确定各个所述矩阵中的待求逆矩阵；

根据各个所述矩阵的矩阵特性对各个所述待求逆矩阵求逆。

3.根据权利要求2所述的数据恢复方法，其特征在于，所述根据各个所述矩阵的矩阵特性对各个所述待求逆矩阵求逆的过程具体包括：

当所述待求逆矩阵为E矩阵与柯西矩阵的混杂矩阵，则将该矩阵拆分为多个n×n的子矩阵，根据各个所述子矩阵的逆矩阵得到该待求逆矩阵的逆矩阵。

4.根据权利要求1所述的数据恢复方法，其特征在于，所述根据各个所述矩阵的矩阵特性对各个所述待求逆矩阵求逆的过程具体包括：

当所述待求逆矩阵为柯西矩阵，通过拉格朗日插值法计算该待求逆矩阵的逆矩阵。

5.根据权利要求1所述的数据恢复方法，其特征在于，所述根据各个所述待求逆矩阵的逆矩阵得到所述目标矩阵的柯西逆矩阵的过程具体为：

根据各个所述待求逆矩阵的逆矩阵，通过补零操作得到所述目标矩阵的柯西逆矩阵。

6.一种数据恢复系统，其特征在于，包括：

确定模块，用于确定待恢复数据块；

调整模块，用于通过原始数据块对应的原始矩阵及校验数据块对应的校验矩阵得到目标矩阵，所述目标矩阵中的所述校验矩阵位于所述待恢复数据块对应矩阵的位置；

拆分模块，用于将所述目标矩阵拆分为多个n×n的矩阵，确定各个所述矩阵中的待求逆矩阵，分别对各个所述待求逆矩阵求逆，根据各个所述待求逆矩阵的逆矩阵得到所述目标矩阵的柯西逆矩阵，n为正整数；

恢复模块，用于根据所述柯西逆矩阵、所述原始数据块及所述校验数据块的乘积对所述待恢复数据块进行数据恢复。

7.根据权利要求6所述的数据恢复系统，其特征在于，所述将所述目标矩阵拆分为多个n×n的矩阵，分别对各个所述矩阵求逆的过程具体为：

将所述目标矩阵拆分为多个n×n的矩阵；

根据各个所述矩阵的矩阵特性对各个所述矩阵求逆。

8.根据权利要求6所述的数据恢复系统，其特征在于，所述根据各个所述矩阵的矩阵特性对各个所述矩阵求逆的过程具体包括：

当所述矩阵为E矩阵与柯西矩阵的混杂矩阵，则将该矩阵拆分为多个n×n的子矩阵，根据各个所述子矩阵的逆矩阵得到该矩阵的逆矩阵。

9.一种数据恢复装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-5任意一项所述的数据恢复方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的数据恢复方法的步骤。

Images