CN114153651B - 一种数据编码方法、装置、设备及介质 - Google Patents

一种数据编码方法、装置、设备及介质 Download PDF

Info

Publication number
CN114153651B
CN114153651B CN202210119841.9A CN202210119841A CN114153651B CN 114153651 B CN114153651 B CN 114153651B CN 202210119841 A CN202210119841 A CN 202210119841A CN 114153651 B CN114153651 B CN 114153651B
Authority
CN
China
Prior art keywords
data
group
check
stripe
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210119841.9A
Other languages
English (en)
Other versions
CN114153651A (zh
Inventor
吴睿振
陈静静
张永兴
张旭
王凛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210119841.9A priority Critical patent/CN114153651B/zh
Publication of CN114153651A publication Critical patent/CN114153651A/zh
Application granted granted Critical
Publication of CN114153651B publication Critical patent/CN114153651B/zh
Priority to PCT/CN2022/123401 priority patent/WO2023151290A1/zh
Priority to US18/696,394 priority patent/US20240264902A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1012—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using codes or arrangements adapted for a specific type of error

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Correction Of Errors (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本申请公开了一种数据编码方法、装置、设备及介质，包括：获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组；根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码，如此一来，本申请通过改进原始编码方法，使得解码时所需要读取的数据量减少，进一步使得解码速度得到较大的提高。

Description

一种数据编码方法、装置、设备及介质
技术领域
本发明涉及数据存储技术领域，特别涉及一种数据编码方法、装置、设备及介质。
背景技术
伴随着通讯技术和网络科技的迅速发展，数字化信息呈指数爆炸式增长，数据存储技术也因此迎来了巨大的挑战。存储系统中数据的可靠性问题以及存储系统的能耗问题越来越被人们所关注，现如今面对如此庞大的数据规模，存储系统中数据的可靠性和存储系统中包含的组件数量成反比关系，即存储系统组件数越多，存储系统中数据的可靠性就越低。根据相关调查显示，在一个由600个磁盘构成的互联网数据中心中，每月大约会有30个磁盘出现损坏的情况，在大规模存储系统中，磁盘故障造成的数据可靠性下降是相当严重的问题，对此人们展开了相关容错技术的研究。纠删码（Erasure Coding，EC）是一种数据保护方法，它将数据分割成片段，把冗余数据扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。将原始数据分割成k个数据块，并根据编码矩阵生成m编码块，将n(n=k+m)块分布到不同的服务器上，当不大于m块数据出现错误时，只需要k块就可以恢复原来的数据。
现如今环境下，大条带纠删是一个比较明确的应用需求，大条带纠删中的大条带指的是所组成纠删下数据和校验的条带数都比较大，这种情况下，数据的安全性能够得到很大的提高，减少硬盘检查的需求几率。但是在大条带纠删的情况下，在对数据进行恢复时，利用现有的纠删算法，需要取出的数据量太大，由于目前限制存储工作速度的主要是硬盘的IOPS（Input/Output Operations Per Second，每秒进行读写操作的次数），因此当数据量很大时，数据读取速度就会变慢，进一步导致数据恢复速度变慢。
因此如何在大条带纠删场景下，降低数据恢复时所需要读取的数据量，提高数据恢复速度是本领域亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种数据编码方法、装置、设备及介质，能够在大条带纠删场景下，降低数据恢复时所需要读取的数据量，提高数据恢复速度，其具体方案如下：
第一方面，本申请公开了一种数据编码方法，包括：
获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；
基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组；
根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码。
可选的，所述基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，包括：
将所述存储纠删结构中的每两个所述条带分为一组，以得到不同条带小组。
可选的，所述基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，还包括：
将所述存储纠删结构中的每两个所述条带分为一组，然后将所述存储纠删结构中剩余的一个所述条带分为一组，以得到不同条带小组，并对包括所述一个所述条带的所述条带小组使用所述原始编码方法进行编码。
可选的，所述基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组，包括：
确定出每组内不同所述条带对应的数据块数量与所述待更新校验块数量；
计算所述数据块数量与所述待更新校验块数量的比值，并当所述比值不为整数时，对所述比值进行向上取整；
以所述比值为划分长度，对每组内不同所述条带对应的数据盘进行分组，并当每组内不同所述条带对应的未划分数据盘数量小于所述划分长度时，将所述未划分数据盘分为一组，以得到不同数据盘小组。
可选的，所述数据编码方法，还包括：基于预设运算原则从所有所述校验盘中确定出一个校验盘，并对所述一个校验盘中的所述校验块使用原始编码方法进行编码，然后将所述所有校验盘中剩余的所述校验盘中的所述校验块确定为所述待更新校验块。
可选的，所述根据所述分组后的所述存储纠删结构并按照预设编码规则对待更新校验块进行更新，包括：
对每个所述数据盘小组以及所述待更新校验分别进行排序；
在每个所述条带小组中，在确定出所述待更新校验块的序号后，利用本组内偶数条带对应的校验盘中的所述待更新校验块，以及所述本组内奇数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的所述数据块，对所述本组内偶数条带对应的校验盘中的所述待更新校验块进行更新。
可选的，所述根据所述分组后的所述存储纠删结构并按照预设编码规则对待更新校验块进行更新，包括：
对每个所述数据盘小组以及所述待更新校验分别进行排序；
在每个所述条带小组中，在确定出所述待更新校验块的序号后，利用本组内奇数条带对应的校验盘中的所述待更新校验块，以及所述本组内偶数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的所述数据块，对所述本组内奇数条带对应的校验盘中的所述待更新校验块进行更新。
第二方面，本申请公开了一种数据编码装置，包括：
纠删结构获取模块，用于获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；
分组模块，用于基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组；
更新模块，用于根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的数据编码方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据编码方法。
可见，本申请提出一种数据编码方法，包括：获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组；根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码，如此一来，本申请通过改进原始编码方法，使得在基于改进后编码方法进行解码时，解码所需要读取的数据量减少，进一步使得解码速度得到较大的提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种数据编码方法流程图；
图2为本申请公开的一种具体的数据编码方法流程图；
图3为本申请公开的一种具体的数据编码方法流程图；
图4公开了一种基于原始编码方法的纠删码编码结构示意图；
图5公开了一种K=5，R=4情况下每盘4条带的原始存储纠删结构；
图6为本申请公开的一种改进后的K=5，R=4情况下每盘4条带的存储纠删结构；
图7为本申请公开的一种编码硬件结构示意图；
图8为本申请公开的一种数据编码装置结构示意图；
图9为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在大条带纠删的情况下，在对数据进行恢复时，利用现有的纠删算法，需要取出的数据量太大，由于目前限制存储工作速度的主要是硬盘的IOPS，因此当数据量很大时，数据读取速度就会变慢，进一步导致数据恢复速度变慢。
为此，本申请实施例提出一种数据编码方案，能够在大条带纠删场景下，降低数据恢复时所需要读取的数据量，提高数据恢复速度。
本申请实施例公开了一种数据编码方法，参见图1所示，该方法包括：
步骤S11：获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘。
本实施例中，首先获取基于原始编码方法确定的存储纠删结构，通过所述存储纠删结构可以直观的看出条带与数据盘以及校验盘的对应关系，具体的，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘，所述数据盘用来存来数据块，所述校验盘用来存储校验块。
步骤S12：基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组。
本实施例中，首先对基于条带对硬盘进行存储容量的划分，具体的，利用所述第二预设数量的条带对每个硬盘进行划分，然后基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组。
步骤S13：根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码。
本实施例中，在得到所述不同条带小组以及所述不同数据盘小组后，基于所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码。
需要指出的是，本实施例中，确定所述待更新校验块的具体过程是：基于预设运算原则从所有所述校验盘中确定出一个校验盘，并对所述一个校验盘中的所述校验块使用原始编码方法进行编码，然后将所述所有校验盘中剩余的所述校验盘中的所述校验块确定为所述待更新校验块，本实施例中，所述预设运算原则是指最简运算原则，也即，所述待更新校验块是基于能够使整个运算过程最简化的原则确定的。
可见，本申请提出一种数据编码方法，包括：获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组；根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码，如此一来，本申请通过改进原始编码方法，使得在基于改进后编码方法进行解码时，解码所需要读取的数据量减少，进一步使得解码速度得到较大的提高。
本申请实施例公开了一种具体的数据编码方法，参见图2所示，该方法包括：
步骤S21：获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘。
关于上述步骤更加具体的工作过程参见前述公开的实施例，在此不做赘述。
步骤S22：将所述存储纠删结构中的每两个所述条带分为一组，以得到不同条带小组。
本实施例中，在进行条带分组时，需要根据条带数量定义分组规则，具体的，所述条带数量为所述第二预设数量，当所述第二预设数量为偶数时，将所述存储纠删结构中的每两个所述条带分为一组，以得到不同条带小组；此外，当所述第二预设数量为奇数时，将所述存储纠删结构中的每两个所述条带分为一组，然后将所述存储纠删结构中剩余的一个所述条带分为一组，以得到不同条带小组，并对包括所述一个所述条带的所述条带小组使用所述原始编码方法进行编码。需要指出的是，所述对包括所述一个所述条带的所述条带小组使用所述原始编码方法进行编码是指，包括所述一个所述条带的所述条带小组不参与重新编码，按照所述原始编码方法进行编码。
步骤S23：确定出每组内不同所述条带对应的数据块数量与所述待更新校验块数量；计算所述数据块数量与所述待更新校验块数量的比值，并当所述比值不为整数时，对所述比值进行向上取整；以所述比值为划分长度，对每组内不同所述条带对应的数据盘进行分组，并当每组内不同所述条带对应的未划分数据盘数量小于所述划分长度时，将所述未划分数据盘分为一组，以得到不同数据盘小组。
本实施例中，在得到不同小组之后，要基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组，具体的，确定出每组内不同所述条带对应的数据块数量与所述待更新校验块数量；计算所述数据块数量与所述待更新校验块数量的比值，并当所述比值不为整数时，对所述比值进行向上取整；以所述比值为划分长度，对每组内不同所述条带对应的数据盘进行分组，并当每组内不同所述条带对应的未划分数据盘数量小于所述划分长度时，将所述未划分数据盘分为一组，以得到不同数据盘小组。
步骤S24：对每个所述数据盘小组以及所述待更新校验分别进行排序；在每个所述条带小组中，在确定出所述待更新校验块的序号后，利用本组内偶数条带对应的校验盘中的所述待更新校验块，以及所述本组内奇数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的所述数据块，对所述本组内偶数条带对应的校验盘中的所述待更新校验块进行更新。
本实施例中，在得到所述不同条带小组与所述不同数据盘小组后，根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码，具体的，对每个所述数据盘小组以及所述待更新校验分别进行排序；在每个所述条带小组中，在确定出所述待更新校验块的序号后，利用本组内偶数条带对应的校验盘中的所述待更新校验块，以及所述本组内奇数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的所述数据块，对所述本组内偶数条带对应的校验盘中的所述待更新校验块进行更新，以完成数据编码。
可见，本申请提出一种数据编码方法，包括：获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；将所述存储纠删结构中的每两个所述条带分为一组，以得到不同条带小组；确定出每组内不同所述条带对应的数据块数量与所述待更新校验块数量；计算所述数据块数量与所述待更新校验块数量的比值，并当所述比值不为整数时，对所述比值进行向上取整；以所述比值为划分长度，对每组内不同所述条带对应的数据盘进行分组，并当每组内不同所述条带对应的未划分数据盘数量小于所述划分长度时，将所述未划分数据盘分为一组，以得到不同数据盘小组；对每个所述数据盘小组以及所述待更新校验分别进行排序；在每个所述条带小组中，在确定出所述待更新校验块的序号后，利用本组内偶数条带对应的校验盘中的所述待更新校验块，以及所述本组内奇数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的所述数据块，对所述本组内偶数条带对应的校验盘中的所述待更新校验块进行更新，如此一来，本申请通过改进原始编码方法，使得在基于改进后编码方法进行解码时，解码所需要读取的数据量减少，进一步使得解码速度得到较大的提高。
本申请实施例公开了一种具体的数据编码方法，参见图3所示，该方法包括：
步骤S31：获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘。
关于上述步骤更加具体的工作过程参见前述公开的实施例，在此不做赘述。
步骤S32：将所述存储纠删结构中的每两个所述条带分为一组，以得到不同条带小组。
本实施例中，在进行条带分组时，需要根据条带数量定义分组规则，具体的，所述条带数量为所述第二预设数量，当所述第二预设数量为偶数时，将所述存储纠删结构中的每两个所述条带分为一组，以得到不同条带小组；此外，当所述第二预设数量为奇数时，将所述存储纠删结构中的每两个所述条带分为一组，然后将所述存储纠删结构中剩余的一个所述条带分为一组，以得到不同条带小组，并对包括所述一个所述条带的所述条带小组使用所述原始编码方法进行编码。需要指出的是，所述对包括所述一个所述条带的所述条带小组使用所述原始编码方法进行编码是指，包括所述一个所述条带的所述条带小组不参与重新编码，按照所述原始编码方法进行编码。
步骤S33：确定出每组内不同所述条带对应的数据块数量与所述待更新校验块数量；计算所述数据块数量与所述待更新校验块数量的比值，并当所述比值不为整数时，对所述比值进行向上取整；以所述比值为划分长度，对每组内不同所述条带对应的数据盘进行分组，并当每组内不同所述条带对应的未划分数据盘数量小于所述划分长度时，将所述未划分数据盘分为一组，以得到不同数据盘小组。
本实施例中，在得到不同小组之后，要基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组，具体的，确定出每组内不同所述条带对应的数据块数量与所述待更新校验块数量；计算所述数据块数量与所述待更新校验块数量的比值，并当所述比值不为整数时，对所述比值进行向上取整；以所述比值为划分长度，对每组内不同所述条带对应的数据盘进行分组，并当每组内不同所述条带对应的未划分数据盘数量小于所述划分长度时，将所述未划分数据盘分为一组，以得到不同数据盘小组。
步骤S34：对每个所述数据盘小组以及所述待更新校验分别进行排序；在每个所述条带小组中，在确定出所述待更新校验块的序号后，利用本组内奇数条带对应的校验盘中的所述待更新校验块，以及所述本组内偶数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的所述数据块，对所述本组内奇数条带对应的校验盘中的所述待更新校验块进行更新。
本实施例中，在得到所述不同条带小组与所述不同数据盘小组后，根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码，具体的，对每个所述数据盘小组以及所述待更新校验分别进行排序；在每个所述条带小组中，在确定出所述待更新校验块的序号后，利用本组内奇数条带对应的校验盘中的所述待更新校验块，以及所述本组内偶数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的所述数据块，对所述本组内奇数条带对应的校验盘中的所述待更新校验块进行更新。
需要指出的是，本实施例中，为了获得最大的出错数量，在按照预设编码规则对待更新校验块进行更新时，必须保证一个条带存有原始数据块，因此上述编码规则中只能是利用本组内偶数条带对应的校验盘中的所述待更新校验块，以及所述本组内奇数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的所述数据块，对所述本组内偶数条带对应的校验盘中的所述待更新校验块进行更新，或利用本组内奇数条带对应的校验盘中的所述待更新校验块，以及所述本组内偶数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的所述数据块，对所述本组内奇数条带对应的校验盘中的所述待更新校验块进行更新。两种情况不能同时存在。
可见，本申请提出一种数据编码方法，包括：获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；将所述存储纠删结构中的每两个所述条带分为一组，以得到不同条带小组；确定出每组内不同所述条带对应的数据块数量与所述待更新校验块数量；计算所述数据块数量与所述待更新校验块数量的比值，并当所述比值不为整数时，对所述比值进行向上取整；以所述比值为划分长度，对每组内不同所述条带对应的数据盘进行分组，并当每组内不同所述条带对应的未划分数据盘数量小于所述划分长度时，将所述未划分数据盘分为一组，以得到不同数据盘小组；对每个所述数据盘小组以及所述待更新校验分别进行排序；在每个所述条带小组中，在确定出所述待更新校验块的序号后，利用本组内奇数条带对应的校验盘中的所述待更新校验块，以及所述本组内偶数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的所述数据块，对所述本组内奇数条带对应的校验盘中的所述待更新校验块进行更新，如此一来，本申请通过改进原始编码方法，使得在基于改进后编码方法进行解码时，解码所需要读取的数据量减少，进一步使得解码速度得到较大的提高。
图4公开了一种基于原始编码方法的纠删码编码结构示意图。
1、纠删码(Erasure Code)属于编码理论中的一种前向纠错技术，最早应用于通信领域以解决数据传输中的丢失与损耗的问题。由于纠删码技术在防止数据丢失上取得了较好的效果，因此被引入存储领域。纠删码可以在保证相同可靠性的前提下有效地降低存储开销，因此纠删码技术被广泛地应用于各大存储系统以及数据中心例如微软的Azure、Facebook的F4等。纠删码是指将原始数据分割成k个数据块，并根据编码矩阵生成m编码块，将n(n=k+m)块分布到不同的服务器上。当不大于m块数据出现错误时，只需要k块就可以恢复原来的数据，其参数配置如下所示：
（1）k：数据块。k表示将原始数据划分的块数和恢复原始数据的最小块数。k值越小，发生故障时，数据重构的代价越大；k值越大，需要多路数据拷贝，增加网络和IO的负载。
（2）m：编码块。m影响数据保存的可靠性和存储成本。取值越大，对故障的容忍度大，数据的冗余度也会增加，存储成本也会提高。
（3）n：生成块数（n=k+m）。
（4）有效存储比：k/n。
原始纠删码编码一般利用范德蒙或柯西矩阵，参见图4所示，图中待编码的数据块为k=5个，编码需求为m=3，B11，B12等部分可以是范德蒙矩阵或柯西矩阵，最终的生成码块为D+C部分，总量为k+m=8个，有效存储比为：k/n=5/8。这样的纠删系统，可以对K个D进行编码，得到m个C。纠删系统可在m个编码实现后很对系统中任意m个错误进行解码恢复。
2、在实际存储系统中较常见的有应用在分布式环境下的RS码（Reed-SolomonCode）。RS码与两个参数k和r相关。给定两个正整数k和r，RS码将k个数据块编码为r个额外的校验块。而r个校验块基于范德蒙矩阵或柯西矩阵进行编码的方式就称为利用范德蒙矩阵或柯西矩阵编码的RS纠删码，基于范德蒙矩阵的RS纠删码以及基于柯西矩阵的RS纠删码的具体编码过程分别如下所示：
Figure 799540DEST_PATH_IMAGE001
；
Figure 529599DEST_PATH_IMAGE002
；
上述公式中的k*k矩阵对应的就是k个原始数据块，r*k矩阵对应的就是编码矩阵，通过与原始数据D1到Dk相乘，得到新添加的P1到Pr就是编码所得到的r个校验数据。当其中任意做多r个数据在传输中出错或丢失，需要纠错时，即用剩余数据对应矩阵的逆矩阵与数据相乘，即会得到原始数据块D1到Dk。以D1到Dr数据丢失，进行解码为例，过程如下所示：
Figure 605002DEST_PATH_IMAGE003
；
由此可知，纠删码的核心概念是构建一个可逆的编码矩阵用以产生校验数据，其逆矩阵可经过计算恢复原始数据。常见的RS纠删码使用的是上面介绍的柯西矩阵或范德蒙矩阵，这样的优势是所得到的矩阵可逆，其任意子矩阵也都可逆，并且矩阵的大小扩充简单。
现有纠删的算法使用的大部分都是RS算法，RS算法具有计算简单、扩展灵活等优势，因此在工业界具有广泛的应用。RS算法一般采用的是如上面所介绍的范德蒙或柯西的算法。这里无论采用何种算法，本申请将其编码的关系和解码的关系分别设置为：
Figure 129524DEST_PATH_IMAGE004
；
Figure 24799DEST_PATH_IMAGE005
；
利用任意一个大条带纠删k=5，r=4的情况下使用标准范德蒙的RS算法进行编解码构建的纠删系统进行举例。则此时的编码关系如下所示：
Figure 292969DEST_PATH_IMAGE006
；
在上述的编码关系中，对本申请提出的上述编码和解码的关系的公式中以p1进行举例：
Figure 862360DEST_PATH_IMAGE007
；
同理可得到解码时对应的
Figure 823363DEST_PATH_IMAGE008
的关系，其中，
Figure 205934DEST_PATH_IMAGE009
为异或符号。
图5公开了一种K=5，R=4情况下每盘4条带的原始存储纠删结构。
假设将每个硬盘分为四个条带，不考虑负载均衡，只考虑数据和校验的关系，则存储纠删结构的关系参见图5所示。图5中的p11，p12，p13，p14是利用条带1通过编码关系的公式生成的校验数据，相应的，其他条带编码关系相同。则在原始的编码情况下，上述编码可以恢复1-4个任意盘的错误。当发生一个错误，且错误为盘1的情况下，原始的RS编码需要求出盘2-5的数据以及盘6-9的任意一个校验，来完成解码运算，此时所需取出的数据块数为20。
本申请提出了一种以编码复杂度为代价，减少解码恢复所需要读取的数据量的算法，在硬件实现中，因为编码时所读取的数据可以并行应用于不同的校验块产生，因此实际的编码速度并没有受到影响，而解码的速度会因为读取数据的减少，得到较大的提升。
图6为本申请公开的一种改进后的K=5，R=4情况下每盘4条带的存储纠删结构。
具体实施过程参见图6所示：
（1）对条带基于偶数分组：具体的，将每两个条带组分为一组。
（2）基于校验盘数量对数据盘进行分组：分组方式如下所示：
Figure 12216DEST_PATH_IMAGE010
；
当除不尽时，则向上取整，每组对应的数据盘个数基于n划分为整数。以上述情况举例，k=5，r=4，则：
Figure 62211DEST_PATH_IMAGE011
；
则每组基于n=2进行整数的划分，划分为分别：2，2，1个元素。
上述例子任意划分为：盘1和盘2一组，盘3和盘4一组，盘5一组。
（3）将每组内奇数（或偶数）的校验生成增加组内偶数（或奇数）的步骤（2）中的数据盘，以图6进行举例说明，考虑将奇数的数据盘增加给偶数的校验盘，以组1举例，则分组增加为：
Figure 928536DEST_PATH_IMAGE012
；
Figure 562517DEST_PATH_IMAGE013
；
Figure 172490DEST_PATH_IMAGE014
；
同理，相应的组2的偶数条带也利用奇数条带的数据做同样更新，以上，完成所有的编码。需要指出的是，这里的编码运算没有改变原本的RS编码的生成方式，对于额外添加给偶数（或奇数）的校验码的增加的异或数据，只需要在进行其本身涉及的编码时，将其同时送给更新的校验码块进行运算即可。
图7为本申请公开的一种编码硬件结构示意图。
以p24’的生成举例，其硬件结构参见图7，由此可知，原本的编码顺序和方式无需改变，对于新增的对于校验块的新增部分，通过将其他编码涉及的数据块直接传输新增即可，这里的操作并行进行，无需增加新的数据读取和搬移，因此对速度和面积没有影响。
在解码部分：当一个盘发生错误时，以盘5发生错误为例进行说明，此时发生错误为d15，d25，d35，d45，首先读取d21-d24,d41-d44全部8个数据块，利用p21和p41分别进行恢复，得到d25，d45两个数据块。然后再取出p24’和p44’,基于上述分组增加的公式可知，此时已经取得d21-d25和d41-d45，则通过上述分组增加的公式可直接求得d15和d35。也就是说，完成一个盘错误时的恢复，仅需从硬盘中取出d21-d24，d41-d44，p21，p41，p24’，p44’总共12个数据块。相比原始方法需要取出20个数据块相比，减少了一部分数据读取需求，一定程度上提高读取速度。同理在发生一个以上错误的时候，也有不同的速度提升，这里不再举例说明。如此一来，本深情提出了一种针对大条带纠删下纠错恢复速度改进的纠删硬件加速器方案，针对用户当今实际的需求下，发生错误的恢复速度要求高的情况，针对限制存储纠删结构速度的主要原因是数据搬运的IOPS限制的特性，在原有RS纠删方法的前提下，改进编码方案，使得解码需求发生时，可以减少数据的搬运量以提高解码速度。
相应的，本申请实施例还公开了一种数据编码装置，参见图8所示，该装置包括：
纠删结构获取模块11，用于获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；
分组模块12，用于基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组；
更新模块13，用于根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码。
其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请提出一种数据编码方法，包括：获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组；根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码，如此一来，本申请通过改进原始编码方法，使得在基于改进后编码方法进行解码时，解码所需要读取的数据量减少，进一步使得解码速度得到较大的提高。
进一步的，本申请实施例还提供了一种电子设备。图9是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图9为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、显示屏23、输入输出接口24、通信接口25、电源26、和通信总线27。其中，所述存储器22 用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的数据编码方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源26用于为电子设备20上的各硬件设备提供工作电压；通信接口25能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口24，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括计算机程序221，存储方式可以是短暂存储或者永久存储。其中，计算机程序221除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据编码方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据编码方法。
关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本申请书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种数据编码方法、装置、设备、存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种数据编码方法，其特征在于，包括：
获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；
基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组；
根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码；
其中，所述基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组具体为：
确定出每组内不同所述条带对应的数据块数量与所述待更新校验块数量；计算所述数据块数量与所述待更新校验块数量的比值，并当所述比值不为整数时，对所述比值进行向上取整；以所述比值为划分长度，对每组内不同所述条带对应的数据盘进行分组，并当每组内不同所述条带对应的未划分数据盘数量小于所述划分长度时，将所述未划分数据盘分为一组，以得到不同数据盘小组。
2.根据权利要求1所述的数据编码方法，其特征在于，当所述第二预设数量为偶数时，所述基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，包括：
将所述存储纠删结构中的每两个所述条带分为一组，以得到不同条带小组。
3.根据权利要求1所述的数据编码方法，其特征在于，当所述第二预设数量为奇数时，所述基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，还包括：
将所述存储纠删结构中的每两个所述条带分为一组，然后将所述存储纠删结构中剩余的一个所述条带分为一组，以得到不同条带小组，并对包括所述一个所述条带的所述条带小组使用所述原始编码方法进行编码。
4.根据权利要求1所述的数据编码方法，其特征在于，还包括：
基于预设运算原则从所有所述校验盘中确定出一个校验盘，并对所述一个校验盘中的所述校验块使用原始编码方法进行编码，然后将所述所有校验盘中剩余的所述校验盘中的所述校验块确定为所述待更新校验块。
5.根据权利要求1至4任一项所述的数据编码方法，其特征在于，所述根据所述分组后的所述存储纠删结构并按照预设编码规则对待更新校验块进行更新，包括：
对每个所述数据盘小组以及所述待更新校验分别进行排序；
在每个所述条带小组中，在确定出所述待更新校验块的序号后，利用本组内偶数条带对应的校验盘中的所述待更新校验块，以及所述本组内奇数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的数据块，对所述本组内偶数条带对应的校验盘中的所述待更新校验块进行更新。
6.根据权利要求1至4任一项所述的数据编码方法，其特征在于，所述根据所述分组后的所述存储纠删结构并按照预设编码规则对待更新校验块进行更新，包括：
对每个所述数据盘小组以及所述待更新校验分别进行排序；
在每个所述条带小组中，在确定出所述待更新校验块的序号后，利用本组内奇数条带对应的校验盘中的所述待更新校验块，以及所述本组内偶数条带对应的数据盘中与所述待更新校验块的序号具有相同序号的所述数据盘小组中的数据块，对所述本组内奇数条带对应的校验盘中的所述待更新校验块进行更新。
7.一种数据编码装置，其特征在于，包括：
纠删结构获取模块，用于获取基于原始编码方法确定的存储纠删结构，其中，所述存储纠删结构中对应第一预设数量的硬盘以及第二预设数量的条带，所述硬盘包括数据盘以及校验盘；
分组模块，用于基于第一划分规则对所述存储纠删结构中所述第二预设数量的条带进行分组，以得到不同条带小组，并基于第二划分规则对每组内不同所述条带对应的数据盘进行分组，以得到不同数据盘小组；
更新模块，用于根据所述不同条带小组以及所述不同数据盘小组并按照预设编码规则对待更新校验块进行更新，以完成数据编码；
其中，所述分组模块具体用于：确定出每组内不同所述条带对应的数据块数量与所述待更新校验块数量；计算所述数据块数量与所述待更新校验块数量的比值，并当所述比值不为整数时，对所述比值进行向上取整；以所述比值为划分长度，对每组内不同所述条带对应的数据盘进行分组，并当每组内不同所述条带对应的未划分数据盘数量小于所述划分长度时，将所述未划分数据盘分为一组，以得到不同数据盘小组。
8.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至6任一项所述的数据编码方法。
9.一种计算机可读存储介质，其特征在于，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的数据编码方法。
CN202210119841.9A 2022-02-09 2022-02-09 一种数据编码方法、装置、设备及介质 Active CN114153651B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210119841.9A CN114153651B (zh) 2022-02-09 2022-02-09 一种数据编码方法、装置、设备及介质
PCT/CN2022/123401 WO2023151290A1 (zh) 2022-02-09 2022-09-30 一种数据编码方法、装置、设备及介质
US18/696,394 US20240264902A1 (en) 2022-02-09 2022-09-30 Data encoding method and apparatus, device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210119841.9A CN114153651B (zh) 2022-02-09 2022-02-09 一种数据编码方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114153651A CN114153651A (zh) 2022-03-08
CN114153651B true CN114153651B (zh) 2022-04-29

Family

ID=80450020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210119841.9A Active CN114153651B (zh) 2022-02-09 2022-02-09 一种数据编码方法、装置、设备及介质

Country Status (3)

Country Link
US (1) US20240264902A1 (zh)
CN (1) CN114153651B (zh)
WO (1) WO2023151290A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153651B (zh) * 2022-02-09 2022-04-29 苏州浪潮智能科技有限公司 一种数据编码方法、装置、设备及介质
CN114816837B (zh) * 2022-06-28 2022-12-02 苏州浪潮智能科技有限公司 一种纠删码融合方法、系统、电子设备及存储介质
CN115080303B (zh) * 2022-07-26 2023-01-06 苏州浪潮智能科技有限公司 Raid6磁盘阵列的编码方法、解码方法、装置及介质
CN116501553B (zh) * 2023-06-25 2023-09-19 苏州浪潮智能科技有限公司 数据恢复方法、装置、系统、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844098A (zh) * 2016-12-29 2017-06-13 中国科学院计算技术研究所 一种基于十字交叉纠删编码的快速数据恢复方法及系统
CN112860475A (zh) * 2021-02-04 2021-05-28 山东云海国创云计算装备产业创新中心有限公司 基于rs纠删码的校验块恢复方法、装置、系统及介质
CN113258938A (zh) * 2021-06-03 2021-08-13 成都信息工程大学 一种单节点故障快速修复纠删码的构造方法
CN113590042A (zh) * 2021-07-29 2021-11-02 杭州宏杉科技股份有限公司 一种数据保护存储方法、装置及设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0612015A1 (en) * 1993-02-16 1994-08-24 International Business Machines Corporation Improved disk array system having special parity groups for data blocks with high update activity
JP3133004B2 (ja) * 1996-11-21 2001-02-05 株式会社日立製作所 ディスクアレイ装置およびその制御方法
US20010044879A1 (en) * 2000-02-18 2001-11-22 Moulton Gregory Hagan System and method for distributed management of data storage
CN1692356B (zh) * 2002-11-14 2014-06-04 易斯龙系统公司 用于对现存文件重新条带化的方法
US20090055682A1 (en) * 2007-07-18 2009-02-26 Panasas Inc. Data storage systems and methods having block group error correction for repairing unrecoverable read errors
WO2009050761A1 (ja) * 2007-10-15 2009-04-23 Fujitsu Limited ストレージシステム、ストレージ制御装置、ストレージシステムの制御方法及びそのプログラム
US8914706B2 (en) * 2011-12-30 2014-12-16 Streamscale, Inc. Using parity data for concurrent data authentication, correction, compression, and encryption
US9201800B2 (en) * 2013-07-08 2015-12-01 Dell Products L.P. Restoring temporal locality in global and local deduplication storage systems
CN107526531B (zh) * 2016-06-21 2020-01-14 伊姆西公司 为映射独立盘冗余阵列(raid)选择raid级别的方法和设备
US10430279B1 (en) * 2017-02-27 2019-10-01 Tintri By Ddn, Inc. Dynamic raid expansion
WO2019008578A1 (en) * 2017-07-05 2019-01-10 Kaminario Technologies Ltd. RAID WITH HETEROGENEOUS COMBINATIONS OF SEGMENTS
JP6889742B2 (ja) * 2019-03-04 2021-06-18 株式会社日立製作所 ストレージシステム、データ管理方法、及びデータ管理プログラム
CN113760186A (zh) * 2019-07-30 2021-12-07 华为技术有限公司 数据存储方法、装置、计算设备、存储系统及存储介质
CN114153651B (zh) * 2022-02-09 2022-04-29 苏州浪潮智能科技有限公司 一种数据编码方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844098A (zh) * 2016-12-29 2017-06-13 中国科学院计算技术研究所 一种基于十字交叉纠删编码的快速数据恢复方法及系统
CN112860475A (zh) * 2021-02-04 2021-05-28 山东云海国创云计算装备产业创新中心有限公司 基于rs纠删码的校验块恢复方法、装置、系统及介质
CN113258938A (zh) * 2021-06-03 2021-08-13 成都信息工程大学 一种单节点故障快速修复纠删码的构造方法
CN113590042A (zh) * 2021-07-29 2021-11-02 杭州宏杉科技股份有限公司 一种数据保护存储方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分布式存储系统中的低修复成本纠删码;张航 等;《计算机应用》;20201010;第40卷(第10期);第2942-2950页 *

Also Published As

Publication number Publication date
US20240264902A1 (en) 2024-08-08
WO2023151290A1 (zh) 2023-08-17
CN114153651A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN114153651B (zh) 一种数据编码方法、装置、设备及介质
US10146618B2 (en) Distributed data storage with reduced storage overhead using reduced-dependency erasure codes
US9647698B2 (en) Method for encoding MSR (minimum-storage regenerating) codes and repairing storage nodes
CN111149093B (zh) 分布式存储系统的数据编码、解码及修复方法
CN114281270B (zh) 一种数据存储方法、系统、设备以及介质
CN111697976B (zh) 一种基于分布式存储的rs纠删快速解码方法及系统
CN109491835B (zh) 一种基于动态分组码的数据容错方法
CN113505019B (zh) 一种纠删码数据及校验恢复方法、装置、设备及可读介质
CN114116297B (zh) 一种数据编码方法、装置、设备及介质
CN105518996B (zh) 一种基于二进制域里德所罗门码的数据编解码方法
CN112000512B (zh) 一种数据修复方法及相关装置
CN113687975A (zh) 数据处理方法、装置、设备及存储介质
CN111682874A (zh) 一种数据恢复的方法、系统、设备及可读存储介质
Hollmann Storage codes—Coding rate and repair locality
CN116501553B (zh) 数据恢复方法、装置、系统、电子设备及存储介质
CN115454712B (zh) 一种校验码恢复方法、系统、电子设备及存储介质
CN113258936B (zh) 一种基于循环移位的双重编码的构造方法
CN113258938B (zh) 一种单节点故障快速修复纠删码的构造方法
CN115113816A (zh) 一种纠删码数据处理系统、方法、计算机设备及介质
CN114996047A (zh) 一种数据存储方法、系统、设备以及介质
CN114691414A (zh) 一种校验块生成方法及一种数据恢复方法
CN115269258A (zh) 一种数据恢复的方法和系统
Singal et al. Storage vs repair bandwidth for network erasure coding in distributed storage systems
US10379952B2 (en) Data recovery and regeneration using parity code
CN114879904B (zh) 一种数据存储纠删方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant