CN110837436B - 有限域上纠删码轻量化自动解码方法、智能终端模块 - Google Patents

Abstract

本发明属于信息处理技术领域，公开了一种有限域上的高效纠删码轻量化自动解码方法、智能终端模块，根据每个元素生成规则，形成一个校验矩阵；生成单位矩阵，将矩阵和校验矩阵按照上下顺序组成成一个新的矩阵；选取第i个失效位置，确定新矩阵第i列下半部分第一非零元素；对其他非零元素所在行进行更新；将矩阵中的第NZ_j行设置为全零元素；当下半部分矩阵元素变为全零元素时，矩阵变换终止，相应失效元素对应列若参与变换过程则可恢复；依次对失效码元进行计算求出。本发明可以直接计算得出，思路简洁，有利于软硬件的代码实现，消除了有限域上的矩阵求逆运算，极大的降低译码所需的计算工作量，提高运算效率。

Description

有限域上纠删码轻量化自动解码方法、智能终端模块

技术领域

本发明属于信息处理技术领域，尤其涉及一种有限域上的纠删码轻量化自动解码方法、智能终端模块。

背景技术

纠删码是一种数据可靠性保护方法，这种编码方式将原始数据分成不同的信息分组，假设原始信息被分成k个原始信息分组，然后采用纠删码编码技术对数据进行交织产生一定的r个冗余信息分组，在n＝k+r个信息分组中，当有t个删除错误发生时，t≤r，可利用剩余n-t个信息分组进行译码纠删码译码对丢失数据进行恢复。纠删码可提供比复制方法更高的可靠性，并且数据冗余度远远小于复制方法，因此在不同的领域都有应用，比如分布式存储、安全多方计算等领域。当前对于纠删码的研究主要集中在编码的方法上，而对于译码方法的研究却很少，很多纠删码在被提出时甚至没有说明其具体的译码方法。

目前，最接近的现有技术：矩阵译码方法和归并译码方法则为其中较为典型的代表，而这两种方法也都可以作为纠删码的通用译码方法。但这两种方法仅针对二元有限域GF(2)上的编码，如果需要把上述两类方法应用于多元有限域上的码字译码则会受到一定的限制。两种方法的区别在于，矩阵译码方法在译码时无需进行矩阵的求逆运算，运算的时间复杂度较低。但该方法仅考虑了失效码元为数据元素的情况，若是校验元素失效则需要在恢复数据元素后再进行一次编码运算得出，导致不能直接运算得出校验元素，运算步骤较多；而归并译码方法则可以看作是对传统方程求解法的改进方案。该方法并没有完全消除矩阵的求逆运算，当有2个及以上的错误时，译码的时间成本仍然很高，且当错误数量达到纠删码容错能力上限时，归并译码法将完全等价于矩阵求逆，导致运算复杂度高，数据恢复所需时间较多。

综上所述，现有技术存在的问题是：

(1)矩阵译码方法在译码时无需进行矩阵的求逆运算，运算的时间复杂度较低；仅考虑了失效码元为数据元素的情况，若是校验元素失效则需要在恢复数据元素后再进行一次编码运算得出。

(2)归并译码方法并没有完全消除矩阵的求逆运算，当有2个及以上的错误时，译码的时间成本仍然很高，且当错误数量达到纠删码容错能力上限时，归并译码法将完全等价于矩阵求逆。

解决上述技术问题的难度：

在进行数据恢复过程中，译码的时间成本是一个重要考虑的因素，而目前已有的算法比如归并译码法虽然能够成功译码，但是算法复杂度在错误数量增加时退化到跟方程组求解的程度，而在校验元素丢失的情况下，基本上所有算法都需要先进行数据元素的恢复，然后再进一步由恢复的数据元素求得校验元素，不能够一次性的求得校验元素，因此实现一次解码恢复操作能够同时恢复数据元素和校验元素，同时解码方法复杂度能够低于矩阵求逆，能快速解码存在的一定的技术难度。

解决上述技术问题的意义：

本发明的方法的实现能够消除矩阵求逆，降低解码的复杂度，减少数据译码的开销；并且在数据恢复上，能够通过一系列数据运算步骤同步实现数据元素和校验元素的求解，不需要先进行数据元素恢复，再进行校验元素恢复；另外该方法能够逐步的给出可解码数据，能够进行最大化的数据解码，即使在某些现有方法不能够解码的情况下也能够进行最大化的部分数据恢复。

发明内容

针对现有技术存在的问题，本发明提供了一种有限域上的纠删码轻量化自动解码方法、智能终端模块。

本发明是这样实现的，一种有限域上的纠删码轻量化自动解码方法，所述有限域上的纠删码轻量化自动解码方法包括以下步骤：

第一步，根据每个元素生成规则，后面b个元素的生成分别对应一个行向量，根据生成规则变换形成一个校验矩阵；

第二步，生成单位矩阵，将矩阵和校验矩阵按照上下顺序组成成一个新的矩阵；

第三步，选取第i个失效位置，确定新矩阵第i列下半部分第一非零元素；对其他非零元素所在行进行更新；将矩阵中的第NZ_j行设置为全零元素；当下半部分矩阵元素变为全零元素时，矩阵变换终止，相应失效元素对应列若参与变换过程，说明该元素可恢复；

第四步，依次对失效码元对应列进行统计，如果所有失效码元对应列进行了以上变换，说明所有失效码元可恢复，如果部分列进行了以上变换，说明部分码元可解。

进一步，所述第一步包括：

步骤一，根据{S₁,S₂,...,S_a,S_a+1,...,S_b}中的后b组中的每个元素从前面a组中的生成规则，后b个元素每个元素的生成对应一个方程式，将系数对应成一个向量，如假设在二元域上，a＝5，b＝7，S₆＝S₁+S₃+S₄，那么该元素S₆对应向量{1,0,1,1,0,1；

步骤二：根据以上规则，后面b个元素的生成分别对应一个行向量，形成一个规模为(b-a)b的矩阵成为校验矩阵P。

进一步，所述第二步包括：生成一个规模为b×b的单位矩阵，记作矩阵R；

将矩阵R和校验矩阵P按照上下顺序组成成一个新的矩阵，记为矩阵RM，即此时矩阵RM为一个包含部分非零元素的一个有限域矩阵。

进一步，所述第三步包括：

步骤一，从F中选取第i个失效位置，记为W_i，选取矩阵RM中的第W_i列，非零元素的行号记为{NZ₁,NZ₂,...,NZ_j}，其中因为上半部分为单位矩阵，所以第一非零元素为W_i；

步骤二，在矩阵第W_i列中判断下半部分元素是否非零，如果没有非零元素，说明第W_i个码元不可恢复；如果有，依次对该列所有非零元素所在行即{NZ₁,NZ₂,...,NZ_t}这些行进行如下操作；

步骤三，标记一个非零元素行号大于b的行为NZ_j行，对其他非零元素所在行{NZ₁,...,NZ_j-1,...,NZ_j+1,...,NZ_t}进行更新，其更新规则为，第W_i行更新为其中/>代表下标W_i所在的行，而ELM(i,j)代表矩阵RM的第i行第j列的元素，在集合{NZ₁,...,NZ_j-1,...,NZ_j+1,...,NZ_t}中，以第NZ₁行为例，将其更新为：

其余行按照同理进行更新；

步骤四，当步骤三中执行完毕，将矩阵RM中的第NZ_j行设置为全零元素，此时说明第W_i个码元可解；

步骤五，依次执行步骤一到步骤四，当下半部分矩阵元素变为全零元素时，矩阵变换终止，相应失效元素对应列若参与变换过程，说明该元素可恢复。

进一步，所述第四步还包括：具体的恢复过程为，对于RM经过变换的新矩阵RM′，第W_i个失效码元的计算由第W_i行其余非零元素与相应列号对应的码元的乘积进行求和，如二元域上，第2行位{0,0,1,0,1,0,1}，则第2个位置的失效码元计算为W₃+W₅+W₇，其余失效元素按照此规则进行计算。

本发明的另一目的在于提供一种应用所述有限域上的纠删码轻量化自动解码方法的智能终端模块。

本发明的另一目的在于提供一种应用所述有限域上的纠删码轻量化自动解码方法的分布式存储控制系统。

本发明的另一目的在于提供一种应用所述有限域上的纠删码轻量化自动解码方法的安全多方计算处理系统。

综上所述，本发明的优点及积极效果为：本发明的优点为，新方法不同于以往的特定编码的专用方法，可以适用于任意类型的纠删码，可作为纠删码的通用译码方法；本发明可通过矩阵的初等行变换，将丢失的数据元素和校验元素同时直接变换为现存有效码元线性组合的表达方式，从而可以直接计算得出；方法完全消除了有限域上的矩阵求逆运算，因而能极大的降低译码所需的计算工作量，提高运算效率；新方法适配于计算机底层运算机制，非常有利于软硬件的自动化实现。

本发明的技术效果为，降低数据恢复的运算复杂程度，只需要简单的异或运算就可以进行求解，消除了矩阵求逆，减少了数据恢复时间成本；本发明不需要满足一般方法矩阵可求逆才可以理论上进行解码恢复，可以按照方法规定的步骤进行逐个码元的恢复，可增大数据译码的机会，可在传统方法不可译码的情况下挖掘最大化可译码的范围；本方法所述方法能够进行全部失效码元或者部分码元的最大化恢复，恢复过程最大化，并且恢复过程自动化，可自动判断恢复终止条件，给出恢复范围，有利用硬件自动化实现。综上本发明的方法有计算简单，运算速度快、可最大化恢复等优点。

附图说明

图1是本发明实施例提供的有限域上的纠删码轻量化自动解码方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种有限域上的纠删码轻量化自动解码方法、智能终端模块，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的有限域上的纠删码轻量化自动解码方法包括以下步骤：

S101：根据每个元素生成规则，后面b个元素的生成分别对应一个行向量，形成一个校验矩阵；

S102：生成单位矩阵，将矩阵和校验矩阵按照上下顺序组成成一个新的矩阵；

S103：选取第i个失效位置，确定第一非零元素；对其他非零元素所在行进行更新；将矩阵中的第NZ_j行设置为全零元素；当下半部分矩阵元素变为全零元素时，矩阵变换终止，相应失效元素对应列若参与变换过程，说明该元素可恢复；

S104：依次对失效码元对应列进行统计，如果所有失效码元对应列进行了以上变换，说明所有失效码元可恢复，如果部分列进行了以上变换，说明部分码元可解。

下面结合具体实施例对本发明的技术方案作进一步的描述。

假设纠删码的编码参数为(a,b)，其中a＜b，即原始信息数据分成a组，记为{S₁,S₂,...,S_a}经过编码可以生成b组{S₁,S₂,...,S_a,S_a+1,...,S_b},其中t＝b-a。假设b个分组中有e个分组失效，其位置集合标记为F。

本发明实施例提供的有限域上的纠删码轻量化自动解码方法具体包括以下步骤：

步骤一：根据{S₁,S₂,...,S_a,S_a+1,...,S_b}中的后b组中的每个元素从前面a组中的生成规则，后b个元素每个元素的生成对应一个方程式，将系数对应成一个向量，如假设在二元域上，a＝5，b＝7，S₆＝S₁+S₃+S₄，那么该元素S₆对应向量{1,0,1,1,0,1。

步骤二：根据以上规则，后面b个元素的生成分别对应一个行向量，形成一个规模为(b-a)b的矩阵成为校验矩阵P。

步骤三：生成一个规模为b×b的单位矩阵，记作矩阵R；

步骤四：将矩阵R和校验矩阵P按照上下顺序组成成一个新的矩阵，记为矩阵RM，即此时矩阵RM为一个包含部分非零元素的一个有限域矩阵。

步骤五：从F中选取第i个失效位置，记为W_i，选取矩阵RM中的第W_i列，非零元素的行号记为{NZ₁,NZ₂,...,NZ_j}，其中因为上半部分为单位矩阵，所以第一非零元素为W_i。

步骤六：在矩阵第W_i列中判断下半部分元素是否非零，如果没有非零元素，说明第W_i个码元不可恢复；如果有，依次对该列所有非零元素所在行即{NZ₁,NZ₂,...,NZ_t}这些行进行如下操作。

步骤七：标记一个非零元素行号大于b的行为NZ_j行，对其他非零元素所在行{NZ₁,...,NZ_j-1,...,NZ_j+1,...,NZ_t}进行更新，其更新规则为，第W_i行更新为其中/>代表下标W_i所在的行，而ELM(i,j)代表矩阵RM的第i行第j列的元素，在集合{NZ₁,...,NZ_j-1,...,NZ_j+1,...,NZ_t}中，以第NZ₁行为例，将其更新为：

其余行按照同理进行更新。

步骤八：当步骤七中执行完毕，将矩阵RM中的第NZ_j行设置为全零元素，此时说明第W_i个码元可解。

步骤九：依次执行步骤五到步骤八，当下半部分矩阵元素变为全零元素时，矩阵变换终止，相应失效元素对应列若参与变换过程，说明该元素可恢复。

步骤十：依次对失效码元对应列进行统计，如果所有失效码元对应列进行了以上变换，说明所有失效码元可恢复，如果部分列进行了以上变换，说明部分码元可解。

步骤十一：具体的恢复过程为，对于RM经过变换的新矩阵RM′，第W_i个失效码元的计算由第W_i行其余非零元素与相应列号对应的码元的乘积进行求和，如二元域上，第2行位{0,0,1,0,1,0,1}，则第2个位置的失效码元计算为W₃+W₅+W₇，其余失效元素按照此规则进行计算。

按照上述方法，可以以最大化的原则对失效码元进行恢复。

下面结合具体实施例对本发明的技术方案作进一步的描述。

(1)假设某编码的校验矩阵如下：

原始信息为{1,0,1}，则增加校验元之后信息为{1,0,1,1,1,1}。现假设第1位跟第6位数据丢失。

(2)生成一个6×6的单位矩阵：

(3)将单位矩阵与校验矩阵进行组合，得到如下矩阵：

(4)对第1个失效元素，查看第1列非零元素所在行为{1,7,9}，下半部分矩阵有非零元素，故判断该失效元素可恢复；

(5)选取大于1的非零元素所在行第7行，根据上述步骤七对第1,9行进行更新，同时第7行置零，得到矩阵为：

(6)对第6个失效元素，查看第6列非零元素所在行为{1,6,8,9}，同理，下半部分矩阵有非零元素，判断该失效元素可恢复，选取大于1的非零元素所在行第8行，根据上述步骤七对第1,6,9行进行更新，同时第7行置零，得到矩阵为：

(7)根据步骤十一所述，可求得第1个失效元素为第2,3,4,5个元素的和，即0+1+1+1＝1，第6个失效元素为第2,5个元素的和，即0+1＝1。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种有限域上的纠删码轻量化自动解码方法，其特征在于，所述有限域上的纠删码轻量化自动解码方法包括以下步骤：

第一步，根据每个元素生成规则，后面b个元素的生成分别对应一个行向量，根据生成规则变换形成一个校验矩阵；

第二步，生成一个规模为b×b的单位矩阵，记作矩阵R；

将矩阵R和校验矩阵P按照上下顺序组成一个新的矩阵，记为矩阵RM，即此时矩阵RM为一个包含部分非零元素的一个有限域矩阵；

第三步，选取第i个失效位置，确定新矩阵第i列下半部分第一非零元素；对其他非零元素所在行进行更新；将矩阵中的第NZ_j行设置为全零元素；当下半部分矩阵元素变为全零元素时，矩阵变换终止，相应失效元素对应列若参与变换过程，说明失效元素可恢复；

第四步，依次对失效码元对应列进行统计，如果所有失效码元对应列进行了以上变换，说明所有失效码元可恢复，如果部分列进行了以上变换，说明部分码元可解；

所述第三步包括：

步骤一，从F中选取第i个失效位置，记为W_i，F为失效位置集合，选取矩阵RM中的第W_i列，非零元素的行号记为{NZ₁,NZ₂,...,NZ_j}，其中因为上半部分为单位矩阵，所以第一非零元素为W_i；

步骤二，在矩阵第W_i列中判断下半部分元素是否非零，如果没有非零元素，说明第W_i个码元不可恢复；如果有，依次对该列所有非零元素所在行即{NZ₁,NZ₂,...,NZ_t}这些行进行如下操作；

步骤三，标记一个非零元素行号大于b的行为NZ_j行，对其他非零元素所在行{NZ₁,...,NZ_j-1,...,NZ_j+1,...,NZ_t}进行更新，其更新规则为，第W_i行更新为其中/>代表下标W_i所在的行，而ELM(i,j)代表矩阵RM的第i行第j列的元素，在集合{NZ₁,...,NZ_j-1,...,NZ_j+1,...,NZ_t}中，以第NZ₁行为例，将其更新为：

其余行按照同理进行更新；

步骤四，当步骤三中执行完毕，将矩阵RM中的第NZ_j行设置为全零元素，此时说明第W_i个码元可解；

步骤五，依次执行步骤一到步骤四，当下半部分矩阵元素变为全零元素时，矩阵变换终止，相应失效元素对应列若参与变换过程，说明该失效元素可恢复。

2.如权利要求1所述的有限域上的纠删码轻量化自动解码方法，其特征在于，所述第一步包括：

步骤一，根据{S₁,S₂,...,S_a,S_a+1,...,S_b}中后b组中的每个元素从前面a组中生成规则，后b个元素每个元素的生成对应一个方程式，将系数对应成一个向量；纠删码的编码参数为(a,b)，其中a＜b，即原始信息数据分成a组，记为{S₁,S₂,...,S_a}经过编码可以生成b组{S₁,S₂,...,S_a,S_a+1,...,S_b}；

步骤二：根据以上规则，后面b个元素的生成分别对应一个行向量，形成一个规模为(b-a)b的矩阵成为校验矩阵P。

3.如权利要求1所述的有限域上的纠删码轻量化自动解码方法，其特征在于，所述第四步还包括：具体的恢复过程为，对于矩阵RM经过变换的新矩阵RM′，第W_i个失效码元的计算由第W_i行其余非零元素与相应列号对应的码元的乘积进行求和，如二元域上，第2行为{0,0,1,0,1,0,1}，则第2个位置的失效码元计算为W₃+W₅+W₇，其余失效元素按照此规则进行计算。

4.一种应用权利要求1～3任意一项所述有限域上的纠删码轻量化自动解码方法的智能终端模块。

5.一种应用权利要求1～3任意一项所述有限域上的纠删码轻量化自动解码方法的分布式存储控制系统。

6.一种应用权利要求1～3任意一项所述有限域上的纠删码轻量化自动解码方法的安全多方计算处理系统。