CN116312725B - 一种数据存储方法、装置、电子设备和存储介质 - Google Patents
一种数据存储方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116312725B CN116312725B CN202310549162.XA CN202310549162A CN116312725B CN 116312725 B CN116312725 B CN 116312725B CN 202310549162 A CN202310549162 A CN 202310549162A CN 116312725 B CN116312725 B CN 116312725B
- Authority
- CN
- China
- Prior art keywords
- sub
- stripe
- initial
- code
- check
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013500 data storage Methods 0.000 title claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 17
- 238000005299 abrasion Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
- G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
- G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
- G11C29/38—Response verification devices
- G11C29/42—Response verification devices using error correcting codes [ECC] or parity check
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Detection And Correction Of Errors (AREA)
Abstract
本发明实施例提供了一种数据存储方法、装置、电子设备和存储介质,涉及计算机系统及存储技术领域;包括获取磁盘阵列的初始纠删码,依据初始第一子条带的数据码生成初始第一子条带的校验码;依据初始第二子条带的数据码生成初始第二子条带的校验码;依据初始第一子条带的校验码和初始第二子条带的校验码,生成目标第二子条带的校验码;确定初始第一子条带的数据码、初始第二子条带的数据码、初始第一子条带的校验码和目标第二子条带的校验码为目标纠删码;获取校验节点磨损程度信息;依据校验节点磨损程度信息采用磁盘阵列的初始纠删码或目标纠删码进行系统重建,以实现数据存储。通过本发明实施例可以提高校验节点重建速度。
Description
技术领域
本发明涉及计算机系统及存储技术领域,特别是涉及一种数据存储方法、一种数据存储装置、一种电子设备和一种存储介质。
背景技术
面对海量数据的存储要求,为了提高存储系统的数据可靠性,保证数据收集节点能以很高的概率实现原始文件的重构,需要在存储原始数据的基础上,额外存储一定数量的冗余,使得在出现部分节点失效的情况下,系统仍然可以正常运行,数据收集节点仍然可以对原始文件实现解码恢复。同时,为了维持系统的可靠性,需要对失效的节点及时进行修复,因此,设计一个良好的节点修复机制十分重要。纠删码(Erasure Code)属于编码理论中的一种前向纠错技术,最早应用于通信领域以解决数据传输中的丢失与损耗这类问题。由于纠删码技术在防止数据丢失取得了较好的效果,因此被引入存储领域。但是当重建校验节点时,HitchHiker码等纠删码所需的网络流量和磁盘IO(input/output,输入输出)较大,导致重建校验节点的速度较慢。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据存储方法、一种数据存储装置、一种电子设备和一种存储介质。
在本发明的第一个方面,本发明实施例公开了一种数据存储方法,包括:
获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;
依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;
依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;
确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;
获取校验节点磨损程度信息;
依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储。
可选地,所述依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码的步骤包括:
基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码。
可选地,所述里德所罗门码编码为范德蒙矩阵,所述基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码的步骤包括:
基于范德蒙矩阵,对所述初始第一子条带的数据码进行编码,得到全局校验码;
确定所述全局校验码为所述初始第一子条带的校验码。
可选地,所述依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码的步骤包括:
基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码。
可选地,所述里德所罗门码编码为范德蒙矩阵,所述基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码的步骤包括:
基于范德蒙矩阵,对所述初始第二子条带的数据码进行编码,得到全局校验码;
确定所述全局校验码为所述初始第二子条带的校验码。
可选地,所述依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码的步骤包括:
将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码。
可选地,所述将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码的步骤包括:
将所述初始第二子条带的第x个校验码与所述初始第一子条带的第x-1个校验码进行异或运算,得到第一运算结果数据;
将所述第一运算结果数据更新所述初始第二子条带的第x个校验码,生成目标第二子条带的校验码;
其中,x为大于等于2的正整数。
可选地,所述将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码的步骤还包括:
将所述初始第二子条带的第一个校验码与所述初始第一子条带的第n个校验码进行异或运算,得到第二运算结果数据;
将所述第二运算结果数据更新所述初始第二子条带的第一个校验码,生成目标第二子条带的校验码
其中,n为所述第一子条带的校验码的数量。
可选地,所述目标纠删码包括:目标第一子条带和目标第二子条带,所述确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码的步骤包括:
结合所述初始第一子条带的数据码和所述初始第一子条带的校验码确定所述目标第一子条带;
结合所述初始第二子条带的数据码和所述目标第二子条带的校验码确定所述目标第二子条带。
可选地,所述依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建的步骤包括:
当所述校验节点磨损程度信息为严重磨损时,采用所述目标纠删码进行系统重建。
当所述校验节点磨损程度信息为更换校验节点时,采用所述磁盘阵列的初始纠删码进行系统重建。
可选地,所述系统包括校验节点,所述采用所述目标纠删码进行系统重建的步骤包括:
采用所述目标纠删码对所述校验节点进行重建。
可选地,所述采用所述目标纠删码对所述校验节点进行重建的步骤包括:
依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第二子条带的数据码对校验节点进行重建。
可选地,所述校验节点包括第一子条带的校验节点和第二子条带的校验节点,所述依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第一子条带的数据码对校验节点进行重建的步骤包括:
依据所述初始第二子条带的数据码,确定第一异或编码和第二异或编码;
从所述目标第二子条带的校验码中,确定目标校验码;
依据所述目标校验码和所述第二异或编码对所述第一子条带的校验节点进行重建;
从所述初始第一子条带的数据码中,确定目标数据码;
依据所述目标数据码所述第一异或编码对所述第二子条带的校验节点进行重建。
可选地,所述系统还包括数据节点,所述采用所述目标纠删码进行系统重建的步骤包括:
采用所述目标纠删码对所述数据节点进行重建。
可选地,所述方法还包括:
基于异或并行,将所述目标纠删码切换为所述磁盘阵列的初始纠删码。
可选地,所述初始第一子条带的校验码的数量为4个,所述初始第二子条带的校验码的数量为4个。
可选地,所述初始第一子条带的数据码的数量为10个,所述初始第二子条带的数据码的数量为10个。
在本发明的第二个方面,本发明实施例公开了一种数据存储装置,包括:
第一获取模块,用于获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;
第一编码模块,用于依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;
第二编码模块,用于依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;
确定模块,用于确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;
第二获取模块,用于获取校验节点磨损程度信息;
存储模块,用于依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储。
在本发明的第三个方面,本发明实施例还公开了一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的数据存储方法的步骤。
在本发明的第四个方面,本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的数据存储方法的步骤。
本发明实施例包括以下优点:
本发明实施例通过获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;获取校验节点磨损程度信息;依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储。通过依据磁盘阵列的初始纠删码创建目标纠删码,在校验节点不同的磨损程度下,采用磁盘阵列的初始纠删码或目标纠删码进行系统重建,减少节点读取量,提高了校验节点的重建速度。
附图说明
图1是本发明的一种数据存储方法实施例的步骤流程图;
图2是本发明的另一种数据存储方法实施例的步骤流程图;
图3是本发明实施例的磁盘阵列卡架构图;
图4是本发明的另一种数据存储方法实施例的全局校验码编码过程示意图;
图5是本发明的另一种数据存储方法实施例的磁盘阵列的初始纠删码编码示例图;
图6是本发明的另一种数据存储方法实施例的目标纠删码编码示例图;
图7是本发明的另一种数据存储方法实施例的编码切换示意图;
图8是本发明的一种数据存储装置实施例的结构框图;
图9是本发明实施例提供的一种电子设备的结构框图;
图10是本发明实施例提供的一种存储介质的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明的一种数据存储方法实施例的步骤流程图,所述数据存储方法具体可以包括如下步骤:
步骤101,获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;
在本发明实施例中,可以先获取到磁盘阵列的初始纠删码,该磁盘阵列的初始纠删码可以为HitchHiker(顺路者)码,磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带两条子条带。初始第一子条带会具有对应的数据码和校验码。初始第二子条带会具有对应的数据码和校验码。
步骤102,依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;
由于数据是已知的,即初始第一子条带的数据码和初始第二子条带的数据码是已知的,可以依据初始第一子条带的数据码生成初始第一子条带的校验码;依据初始第二子条带的数据码生成初始第二子条带的校验码;从而得到完整的磁盘阵列的初始纠删码。
步骤103,依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;
然后,可以依据初始第一子条带的校验码和初始第二子条带的校验码进行处理,生成目标第二子条带的校验码。
步骤104,确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;
基于得到的目标第二子条带的校验码和初始第一子条带的数据码、初始第二子条带的数据码、初始第一子条带的校验码插入到指定位置组合,确定出目标纠删码,可见目标纠删码是基于磁盘阵列的初始纠删码的基础上改进生成。
步骤105,获取校验节点磨损程度信息;
在得到磁盘阵列的初始纠删码和目标纠删码后,可以获取校验节点磨损程度信息,已获知校验节点当前的磨损情况。
步骤106,依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储。
依据校验节点磨损程度信息,即依据校验节点当前的磨损情况使用磁盘阵列的初始纠删码或目标纠删码中的一种纠删码对进行系统重建,具体的可以是对校验节点进行重建。
本发明实施例通过获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;获取校验节点磨损程度信息;依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储。通过依据磁盘阵列的初始纠删码创建目标纠删码,在校验节点不同的磨损程度下,采用磁盘阵列的初始纠删码或目标纠删码进行系统重建,减少节点读取量,提高了校验节点的重建速度。
参照图2,示出了本发明的另一种数据存储方法实施例的步骤流程图,所述数据存储方法可以应用于磁盘阵列卡上,所述磁盘阵列卡架构图可以参照图3,纠删码编/解码的硬件加速模块:用于对原始数据块编码,生成校验数据块,以及当发生页错误、块错误或芯片故障时,对幸存的数据块进行解码运算,恢复丢失的数据。条带组织模块:在基于超级块管理的SSD中,以超级页的形式进行条带的划分。自适应容错模块:该模块定期检测超级块内的高磨损块数,然后根据该指标动态地应用具有不同容错能力的RS纠删码。双链表分区管理的写缓存模块在合适的时机启动纠删码的编码器,完成校验数据的生成;将用户数据和校验数据组织到同一条带中,保证用户数据和校验数据的一致性。数据恢复与重建模块为恢复出的数据提供了不同的重建布局方法。
所述数据存储方法具体可以包括如下步骤:
步骤201,获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;
在本发明实施例中,可以获取到磁盘阵列的初始纠删码,磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带。
步骤202,依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;
针对于第一子条带和初始第二子条带,分别依据初始第一子条带的数据码生成初始第一子条带的校验码,依据初始第二子条带的数据码生成初始第二子条带的校验码。
在本发明的一可选实施例中,所述依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码的步骤包括:
子步骤S2021,基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码。
可以基于里德所罗门码(Reed-Solomon Code ,RS码)编码方式,对初始第一子条带的数据码进行编码,生成初始第一子条带的校验码。
具体地,可所述里德所罗门码编码为范德蒙矩阵,所述基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码的步骤包括:基于范德蒙矩阵,对所述初始第一子条带的数据码进行编码,得到全局校验码;确定所述全局校验码为所述初始第一子条带的校验码。
在实际应用中,可以基于范德蒙矩阵,对初始第一子条带的数据码进行编码,得到全局校验码,将得到的全局校验码按照顺序依次放在初始第一子条带的校验码的位置上,确定出初始第一子条带的校验码。
在本发明的一可选实施例中,所述依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码的步骤包括:
子步骤S2021,基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码。
针对于初始第二子条带的校验码同理,可以基于里德所罗门码编码方式,对初始第二子条带的数据码进行编码,生成初始第二子条带的校验码。
具体地,所述里德所罗门码编码为范德蒙矩阵,所述基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码的步骤包括:基于范德蒙矩阵,对所述初始第二子条带的数据码进行编码,得到全局校验码;确定所述全局校验码为所述初始第二子条带的校验码。
可以基于范德蒙矩阵,对初始第二子条带的数据码进行编码,得到全局校验码,将得到的全局校验码按照顺序依次放在初始第二子条带的校验码的位置上,确定出初始第二子条带的校验码。
举例而言,可以参照图4,利用范德蒙矩阵的RS纠删码进行编码,得到f1-f4即为全局校验码,分别针对初始第一子条带的数据码进行编码和初始第二子条带的数据码进行编码,如图5所示,得到初始第一子条带和初始第一子条带的数据码和校验码数据。
进一步地,所述初始第一子条带的校验码的数量为4个,所述初始第二子条带的校验码的数量为4个。
进一步地,所述初始第一子条带的数据码的数量为10个,所述初始第二子条带的数据码的数量为10个。
步骤203,依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;
在得到初始第一子条带的校验码和初始第二子条带的校验码后,基于初始第一子条带的校验码和初始第二子条带的校验码的计算,生成目标第二子条带的校验码。
在本发明的一可选实施例中,所述依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码的步骤包括:
子步骤S2031,将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码。
在本发明实施例中,可以将初始第一子条带的校验码与初始第二子条带的校验码进行异或运算,并将结果放入对应初始第二子条带的校验码的位置,生成目标第二子条带的校验码。
具体地,所述将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码的步骤包括:将所述初始第二子条带的第x个校验码与所述初始第一子条带的第x-1个校验码进行异或运算,得到第一运算结果数据;将所述第一运算结果数据更新所述初始第二子条带的第x个校验码,生成目标第二子条带的校验码;其中,x为大于等于2的正整数。
在实际应用中,初始第二子条带的第x个校验码与初始第一子条带的第x-1个校验码进行异或运算,即将初始第二子条带的校验码与初始第一子条带的前一个校验码进行异或运算,得到第一运算结果数据,并将该第一运算结果数据放入到初始第二子条带的第x个校验码,以此得到,目标第二子条带的第二个校验码至目标第二子条带的最后一个校验码。
具体地,所述将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码的步骤还包括:将所述初始第二子条带的第一个校验码与所述初始第一子条带的第n个校验码进行异或运算,得到第二运算结果数据;将所述第二运算结果数据更新所述初始第二子条带的第一个校验码,生成目标第二子条带的校验码;其中,n为所述第一子条带的校验码的数量。
由于初始第二子条带的第一个校验码,并不处在初始第一子条带的前一个校验码进行异或运算,此时,可以将初始第二子条带的第一个校验码与初始第一子条带的第n个校验码进行异或运算,n为第一子条带的校验码的数量,即是将初始第二子条带的第一个校验码与初始第一子条带的最后一个校验码进行异或运算,得到第二运算结果数据,并将第二运算结果数据放入初始第二子条带的第一个校验码的位置,更新初始第二子条带的第一个校验码,生成目标第二子条带的第一个校验码。
举例而言,将第二子条带的校验码分别与第一个子条带的校验码/>进行异或,得到结果放在原来/>的位置,生成目标第二子条带的全部校验码。
步骤204,确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;
得到目标第二子条带的校验码后,依据初始第一子条带的数据码、初始第二子条带的数据码、初始第一子条带的校验码和目标第二子条带的校验码进行结合得到目标纠删码。
具体地,所述目标纠删码包括:目标第一子条带和目标第二子条带,所述确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码的步骤包括:结合所述初始第一子条带的数据码和所述初始第一子条带的校验码确定所述目标第一子条带;结合所述初始第二子条带的数据码和所述目标第二子条带的校验码确定所述目标第二子条带。
将初始第一子条带的数据码和初始第一子条带的校验码,进行结合,将结合后的数据确定为。目标第一子条带;将初始第二子条带的数据码和目标第二子条带的校验码进行结合,将结合后的数据确定为目标第二子条带。
步骤205,获取校验节点磨损程度信息;
在得到目标纠删码后,可以获取校验节点磨损程度信息,以确定校验节点的磨损程度。
步骤206,依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储。
依据校验节点磨损程度信息采用磁盘阵列的初始纠删码或目标纠删码中的一种进行系统重建,以实现数据存储。
在本发明实施例中,所述系统包括校验节点,所述采用所述目标纠删码进行系统重建的步骤包括:
步骤S2061,采用所述目标纠删码对所述校验节点进行重建。
在本发明实施例中,可以采用目标纠删码对校验节点进行重建,以提高针对校验节点的重建速度。
进一步地,所述采用所述目标纠删码对所述校验节点进行重建的步骤包括:依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第二子条带的数据码对校验节点进行重建。
在本发明实施例中,可以第二子条带的数据码、目标第二子条带的校验码和初始第二子条带的数据码进行异或运算进行解码,以对校验节点进行重建。
具体地,所述校验节点包括第一子条带的校验节点和第二子条带的校验节点,所述依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第一子条带的数据码对校验节点进行重建的步骤包括:依据所述初始第二子条带的数据码,确定第一异或编码和第二异或编码;从所述目标第二子条带的校验码中,确定目标校验码;依据所述目标校验码和所述第二异或编码对所述第一子条带的校验节点进行重建; 从所述初始第一子条带的数据码中,确定目标数据码;依据所述目标数据码所述第一异或编码对所述第二子条带的校验节点进行重建。
举例而言,以图6的目标纠删码为例,当重建第一个校验节点时,目标纠删码需要读取共10个数据节点,并编码得到/>和/>,然后读取与/>进行异或可以得到/>,然后读取/>与/>进行异或可以得到/>,整个过程读取了12个节点,比如传统HitchHiker码等磁盘阵列的初始纠删码20个节点减少了40%的节点读取量;当重建第二个校验节点时,本发明改进的HitchHiker-XOR需要读取/>共10个数据节点,并编码得到/>和,然后读取/>与/>进行异或可以得到/>,然后读取/>与/>进行异或即可得/>,整个过程读取了12个节点,比传统HitchHiker-XOR码20个节点减少了40%的节点读取量;同理可得第三个、第四个校验节点也是减少了40%的节点读取量,从而提高重建校验节点的速度。
此外,所述系统还包括数据节点,所述采用所述目标纠删码进行系统重建的步骤包括:采用所述目标纠删码对所述数据节点进行重建。
在本发明实施例中,还可以采用目标纠删码对所述数据节点进行重建。以实现目标纠删码对数据节点和校验节点都进行重建。
步骤207,基于异或并行,将所述目标纠删码切换为所述磁盘阵列的初始纠删码。
在需要对切换为磁盘阵列的初始纠删码进行系统重建时,可以参照图7,基于异或并行的方式,将目标纠删码切换为磁盘阵列的初始纠删码。
本发明实施例通过获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;获取校验节点磨损程度信息;依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储,当需要切换编码时,基于异或并行,将所述目标纠删码切换为所述磁盘阵列的初始纠删码。通过依据磁盘阵列的初始纠删码创建目标纠删码,在校验节点不同的磨损程度下,采用磁盘阵列的初始纠删码或目标纠删码进行系统重建,减少节点读取量,提高了校验节点的重建速度。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图8,示出了本发明的一种数据存储装置实施例的结构框图,所述数据存储装置具体可以包括如下模块:
第一获取模块801,用于获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;
第一编码模块802,用于依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;
第二编码模块803,用于依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;
确定模块804,用于确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;
第二获取模块805,用于获取校验节点磨损程度信息;
存储模块806,用于依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储。
在本发明的一可选实施例中,所述第一编码模块802包括:
第一编码子模块,用于基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码
在本发明的一可选实施例中,所述里德所罗门码编码为范德蒙矩阵,所述第一编码子模块包括:
第一编码单元,用于基于范德蒙矩阵,对所述初始第一子条带的数据码进行编码,得到全局校验码;
第一子条带的校验码确定单元,用于确定所述全局校验码为所述初始第一子条带的校验码。
在本发明的一可选实施例中,所述第一编码模块802包括:
第二编码子模块,用于基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码。
在本发明的一可选实施例中,所述里德所罗门码编码为范德蒙矩阵,所述第二编码子模块包括:
第二编码单元,用于基于范德蒙矩阵,对所述初始第二子条带的数据码进行编码,得到全局校验码;
第二子条带的校验码确定单元,用于确定所述全局校验码为所述初始第二子条带的校验码。
在本发明的一可选实施例中,所述第二编码模块803包括:
目标第二子条带的校验码生成子模块,用于将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码。
在本发明的一可选实施例中,所述目标第二子条带的校验码生成子模块包括:
第一异或运算单元,用于将所述初始第二子条带的第x个校验码与所述初始第一子条带的第x-1个校验码进行异或运算,得到第一运算结果数据;
第一更新单元,用于将所述第一运算结果数据更新所述初始第二子条带的第x个校验码,生成目标第二子条带的校验码;
其中,x为大于等于2的正整数。
在本发明的一可选实施例中,所述目标第二子条带的校验码生成子模块包括:
第二异或运算单元,用于将所述初始第二子条带的第一个校验码与所述初始第一子条带的第n个校验码进行异或运算,得到第二运算结果数据;
第二更新单元,用于将所述第二运算结果数据更新所述初始第二子条带的第一个校验码,生成目标第二子条带的校验码;
其中,n为所述第一子条带的校验码的数量。
在本发明的一可选实施例中,所述目标纠删码包括:目标第一子条带和目标第二子条带,所述确定模块804包括:
第一结合子模块,用于结合所述初始第一子条带的数据码和所述初始第一子条带的校验码确定所述目标第一子条带;
第二结合子模块,用于结合所述初始第二子条带的数据码和所述目标第二子条带的校验码确定所述目标第二子条带。
在本发明的一可选实施例中,所述存储模块806包括:
第一重建模块,用于当所述校验节点磨损程度信息为严重磨损时,采用所述目标纠删码进行系统重建。
第二重建模块,用于当所述校验节点磨损程度信息为更换校验节点时,采用所述磁盘阵列的初始纠删码进行系统重建。
在本发明的一可选实施例中,所述系统包括校验节点,所述第一重建模块包括:
第一重建单元,用于采用所述目标纠删码对所述校验节点进行重建。
在本发明的一可选实施例中,所述第一重建单元包括:
第一重建子单元,用于依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第二子条带的数据码对校验节点进行重建。
在本发明的一可选实施例中,所述校验节点包括第一子条带的校验节点和第二子条带的校验节点,所述第一重建子单元:
第一重编码子单元,用于依据所述初始第二子条带的数据码,确定第一异或编码和第二异或编码;
目标校验码确定子单元,用于从所述目标第二子条带的校验码中,确定目标校验码;
第一子条带的校验节点重建子单元,用于依据所述目标校验码和所述第二异或编码对所述第一子条带的校验节点进行重建;
目标数据码确定子单元,用于从所述初始第一子条带的数据码中,确定目标数据码;
第二子条带的校验节点重建子单元,用于依据所述目标数据码所述第一异或编码对所述第二子条带的校验节点进行重建。
在本发明的一可选实施例中,所述系统还包括数据节点,所述存储模块806包括:
第二重建子模块,用于采用所述目标纠删码对所述数据节点进行重建。
在本发明的一可选实施例中,所述装置还包括:
切换模块,用于基于异或并行,将所述目标纠删码切换为所述磁盘阵列的初始纠删码。
在本发明的一可选实施例中,所述初始第一子条带的校验码的数量为4个,所述初始第二子条带的校验码的数量为4个。
在本发明的一可选实施例中,所述初始第一子条带的数据码的数量为10个,所述初始第二子条带的数据码的数量为10个。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
参照图9,本发明实施例还提供了一种电子设备,包括:
处理器901和存储介质902,所述存储介质902存储有所述处理器901可执行的计算机程序,当电子设备运行时,所述处理器901执行所述计算机程序,以执行如本发明实施例任一项所述的数据存储方法。所述数据存储方法包括:
获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;
依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;
依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;
确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;
获取校验节点磨损程度信息;
依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储。
可选地,所述依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码的步骤包括:
基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码。
可选地,所述里德所罗门码编码为范德蒙矩阵,所述基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码的步骤包括:
基于范德蒙矩阵,对所述初始第一子条带的数据码进行编码,得到全局校验码;
确定所述全局校验码为所述初始第一子条带的校验码。
可选地,所述依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码的步骤包括:
基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码。
可选地,所述里德所罗门码编码为范德蒙矩阵,所述基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码的步骤包括:
基于范德蒙矩阵,对所述初始第二子条带的数据码进行编码,得到全局校验码;
确定所述全局校验码为所述初始第二子条带的校验码。
可选地,所述依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码的步骤包括:
将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码。
可选地,所述将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码的步骤包括:
将所述初始第二子条带的第x个校验码与所述初始第一子条带的第x-1个校验码进行异或运算,得到第一运算结果数据;
将所述第一运算结果数据更新所述初始第二子条带的第x个校验码,生成目标第二子条带的校验码;
其中,x为大于等于2的正整数。
可选地,所述将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码的步骤还包括:
将所述初始第二子条带的第一个校验码与所述初始第一子条带的第n个校验码进行异或运算,得到第二运算结果数据;
将所述第二运算结果数据更新所述初始第二子条带的第一个校验码,生成目标第二子条带的校验码
其中,n为所述第一子条带的校验码的数量。
可选地,所述目标纠删码包括:目标第一子条带和目标第二子条带,所述确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码的步骤包括:
结合所述初始第一子条带的数据码和所述初始第一子条带的校验码确定所述目标第一子条带;
结合所述初始第二子条带的数据码和所述目标第二子条带的校验码确定所述目标第二子条带。
可选地,所述依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建的步骤包括:
当所述校验节点磨损程度信息为严重磨损时,采用所述目标纠删码进行系统重建。
当所述校验节点磨损程度信息为更换校验节点时,采用所述磁盘阵列的初始纠删码进行系统重建。
可选地,所述系统包括校验节点,所述采用所述目标纠删码进行系统重建的步骤包括:
采用所述目标纠删码对所述校验节点进行重建。
可选地,所述采用所述目标纠删码对所述校验节点进行重建的步骤包括:
依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第二子条带的数据码对校验节点进行重建。
可选地,所述校验节点包括第一子条带的校验节点和第二子条带的校验节点,所述依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第一子条带的数据码对校验节点进行重建的步骤包括:
依据所述初始第二子条带的数据码,确定第一异或编码和第二异或编码;
从所述目标第二子条带的校验码中,确定目标校验码;
依据所述目标校验码和所述第二异或编码对所述第一子条带的校验节点进行重建;
从所述初始第一子条带的数据码中,确定目标数据码;
依据所述目标数据码所述第一异或编码对所述第二子条带的校验节点进行重建。
可选地,所述系统还包括数据节点,所述采用所述目标纠删码进行系统重建的步骤包括:
采用所述目标纠删码对所述数据节点进行重建。
可选地,所述方法还包括:
基于异或并行,将所述目标纠删码切换为所述磁盘阵列的初始纠删码。
可选地,所述初始第一子条带的校验码的数量为4个,所述初始第二子条带的校验码的数量为4个。
可选地,所述初始第一子条带的数据码的数量为10个,所述初始第二子条带的数据码的数量为10个。
其中,存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
参照图10,本发明实施例还提供了一种计算机可读存储介质1001,所述存储介质1001上存储有计算机程序,所述计算机程序被处理器运行时执行如本发明实施例任一项所述的数据存储方法。所述数据存储方法包括:获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;
依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;
依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;
确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;
获取校验节点磨损程度信息;
依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储。
可选地,所述依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码的步骤包括:
基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码。
可选地,所述里德所罗门码编码为范德蒙矩阵,所述基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码的步骤包括:
基于范德蒙矩阵,对所述初始第一子条带的数据码进行编码,得到全局校验码;
确定所述全局校验码为所述初始第一子条带的校验码。
可选地,所述依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码的步骤包括:
基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码。
可选地,所述里德所罗门码编码为范德蒙矩阵,所述基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码的步骤包括:
基于范德蒙矩阵,对所述初始第二子条带的数据码进行编码,得到全局校验码;
确定所述全局校验码为所述初始第二子条带的校验码。
可选地,所述依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码的步骤包括:
将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码。
可选地,所述将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码的步骤包括:
将所述初始第二子条带的第x个校验码与所述初始第一子条带的第x-1个校验码进行异或运算,得到第一运算结果数据;
将所述第一运算结果数据更新所述初始第二子条带的第x个校验码,生成目标第二子条带的校验码;
其中,x为大于等于2的正整数。
可选地,所述将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码的步骤还包括:
将所述初始第二子条带的第一个校验码与所述初始第一子条带的第n个校验码进行异或运算,得到第二运算结果数据;
将所述第二运算结果数据更新所述初始第二子条带的第一个校验码,生成目标第二子条带的校验码
其中,n为所述第一子条带的校验码的数量。
可选地,所述目标纠删码包括:目标第一子条带和目标第二子条带,所述确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码的步骤包括:
结合所述初始第一子条带的数据码和所述初始第一子条带的校验码确定所述目标第一子条带;
结合所述初始第二子条带的数据码和所述目标第二子条带的校验码确定所述目标第二子条带。
可选地,所述依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建的步骤包括:
当所述校验节点磨损程度信息为严重磨损时,采用所述目标纠删码进行系统重建。
当所述校验节点磨损程度信息为更换校验节点时,采用所述磁盘阵列的初始纠删码进行系统重建。
可选地,所述系统包括校验节点,所述采用所述目标纠删码进行系统重建的步骤包括:
采用所述目标纠删码对所述校验节点进行重建。
可选地,所述采用所述目标纠删码对所述校验节点进行重建的步骤包括:
依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第二子条带的数据码对校验节点进行重建。
可选地,所述校验节点包括第一子条带的校验节点和第二子条带的校验节点,所述依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第一子条带的数据码对校验节点进行重建的步骤包括:
依据所述初始第二子条带的数据码,确定第一异或编码和第二异或编码;
从所述目标第二子条带的校验码中,确定目标校验码;
依据所述目标校验码和所述第二异或编码对所述第一子条带的校验节点进行重建;
从所述初始第一子条带的数据码中,确定目标数据码;
依据所述目标数据码所述第一异或编码对所述第二子条带的校验节点进行重建。
可选地,所述系统还包括数据节点,所述采用所述目标纠删码进行系统重建的步骤包括:
采用所述目标纠删码对所述数据节点进行重建。
可选地,所述方法还包括:
基于异或并行,将所述目标纠删码切换为所述磁盘阵列的初始纠删码。
可选地,所述初始第一子条带的校验码的数量为4个,所述初始第二子条带的校验码的数量为4个。
可选地,所述初始第一子条带的数据码的数量为10个,所述初始第二子条带的数据码的数量为10个。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据存储方法、装置、电子设备和存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (17)
1.一种数据存储方法,其特征在于,包括:
获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;
依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;
依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;
确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;
获取校验节点磨损程度信息;
依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储;
所述依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码包括:
将所述初始第二子条带的第x个校验码与所述初始第一子条带的第x-1个校验码进行异或运算,得到第一运算结果数据;将所述第一运算结果数据更新所述初始第二子条带的第x个校验码,生成目标第二子条带的校验码;其中,x为大于等于2的正整数;
将所述初始第二子条带的第一个校验码与所述初始第一子条带的第n个校验码进行异或运算,得到第二运算结果数据;将所述第二运算结果数据更新所述初始第二子条带的第一个校验码,生成目标第二子条带的校验码;其中,n为所述第一子条带的校验码的数量;
所述依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建的步骤包括:当所述校验节点磨损程度信息为严重磨损时,采用所述目标纠删码进行系统重建;当所述校验节点磨损程度信息为更换校验节点时,采用所述磁盘阵列的初始纠删码进行系统重建。
2.根据权利要求1所述的方法,其特征在于,所述依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码的步骤包括:
基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码。
3.根据权利要求2所述的方法,其特征在于,所述里德所罗门码编码为范德蒙矩阵,所述基于里德所罗门码编码,对所述初始第一子条带的数据码进行编码,生成所述初始第一子条带的校验码的步骤包括:
基于范德蒙矩阵,对所述初始第一子条带的数据码进行编码,得到全局校验码;
确定所述全局校验码为所述初始第一子条带的校验码。
4.根据权利要求1所述的方法,其特征在于,所述依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码的步骤包括:
基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码。
5.根据权利要求4所述的方法,其特征在于,所述里德所罗门码编码为范德蒙矩阵,所述基于里德所罗门码编码,对所述初始第二子条带的数据码进行编码,生成所述初始第二子条带的校验码的步骤包括:
基于范德蒙矩阵,对所述初始第二子条带的数据码进行编码,得到全局校验码;
确定所述全局校验码为所述初始第二子条带的校验码。
6.根据权利要求1所述的方法,其特征在于,所述依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码的步骤包括:
将所述初始第一子条带的校验码与所述初始第二子条带的校验码进行异或运算,生成目标第二子条带的校验码。
7.根据权利要求1所述的方法,其特征在于,所述目标纠删码包括:目标第一子条带和目标第二子条带,所述确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码的步骤包括:
结合所述初始第一子条带的数据码和所述初始第一子条带的校验码确定所述目标第一子条带;
结合所述初始第二子条带的数据码和所述目标第二子条带的校验码确定所述目标第二子条带。
8.根据权利要求1所述的方法,其特征在于,所述系统包括校验节点,所述采用所述目标纠删码进行系统重建的步骤包括:
采用所述目标纠删码对所述校验节点进行重建。
9.根据权利要求8所述的方法,其特征在于,所述采用所述目标纠删码对所述校验节点进行重建的步骤包括:
依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第一子条带的数据码对校验节点进行重建。
10.根据权利要求9所述的方法,其特征在于,所述校验节点包括第一子条带的校验节点和第二子条带的校验节点,所述依据所述初始第二子条带的数据码、所述目标第二子条带的校验码和所述初始第一子条带的数据码对校验节点进行重建的步骤包括:
依据所述初始第二子条带的数据码,确定第一异或编码和第二异或编码;
从所述目标第二子条带的校验码中,确定目标校验码;
依据所述目标校验码和所述第二异或编码对所述第一子条带的校验节点进行重建;
从所述初始第一子条带的数据码中,确定目标数据码;
依据所述目标数据码所述第一异或编码对所述第二子条带的校验节点进行重建。
11.根据权利要求8所述的方法,其特征在于,所述系统还包括数据节点,所述采用所述目标纠删码进行系统重建的步骤包括:
采用所述目标纠删码对所述数据节点进行重建。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于异或并行,将所述目标纠删码切换为所述磁盘阵列的初始纠删码。
13.根据权利要求1所述的方法,其特征在于,所述初始第一子条带的校验码的数量为4个,所述初始第二子条带的校验码的数量为4个。
14.根据权利要求1所述的方法,其特征在于,所述初始第一子条带的数据码的数量为10个,所述初始第二子条带的数据码的数量为10个。
15.一种数据存储装置,其特征在于,包括:
第一获取模块,用于获取磁盘阵列的初始纠删码,所述磁盘阵列的初始纠删码包括初始第一子条带和初始第二子条带;
第一编码模块,用于依据所述初始第一子条带的数据码生成所述初始第一子条带的校验码;依据所述初始第二子条带的数据码生成所述初始第二子条带的校验码;
第二编码模块,用于依据所述初始第一子条带的校验码和所述初始第二子条带的校验码,生成目标第二子条带的校验码;
确定模块,用于确定所述初始第一子条带的数据码、所述初始第二子条带的数据码、所述初始第一子条带的校验码和所述目标第二子条带的校验码为目标纠删码;
第二获取模块,用于获取校验节点磨损程度信息;
存储模块,用于依据所述校验节点磨损程度信息采用所述磁盘阵列的初始纠删码或所述目标纠删码进行系统重建,以实现数据存储;
所述第二编码模块包括:
第一异或运算单元,用于将所述初始第二子条带的第x个校验码与所述初始第一子条带的第x-1个校验码进行异或运算,得到第一运算结果数据;
第一更新单元,用于将所述第一运算结果数据更新所述初始第二子条带的第x个校验码,生成目标第二子条带的校验码;其中,x为大于等于2的正整数;
第二异或运算单元,用于将所述初始第二子条带的第一个校验码与所述初始第一子条带的第n个校验码进行异或运算,得到第二运算结果数据;
第二更新单元,用于将所述第二运算结果数据更新所述初始第二子条带的第一个校验码,生成目标第二子条带的校验码;其中,n为所述第一子条带的校验码的数量;
所述存储模块包括:
第一重建模块,用于当所述校验节点磨损程度信息为严重磨损时,采用所述目标纠删码进行系统重建;
第二重建模块,用于当所述校验节点磨损程度信息为更换校验节点时,采用所述磁盘阵列的初始纠删码进行系统重建。
16.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至14中任一项所述的数据存储方法的步骤。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至14中任一项所述的数据存储方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310549162.XA CN116312725B (zh) | 2023-05-16 | 2023-05-16 | 一种数据存储方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310549162.XA CN116312725B (zh) | 2023-05-16 | 2023-05-16 | 一种数据存储方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116312725A CN116312725A (zh) | 2023-06-23 |
CN116312725B true CN116312725B (zh) | 2023-08-15 |
Family
ID=86796281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310549162.XA Active CN116312725B (zh) | 2023-05-16 | 2023-05-16 | 一种数据存储方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116312725B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532126A (zh) * | 2019-07-26 | 2019-12-03 | 西安交通大学 | 纠删码存储系统数据快速恢复方法、装置及存储介质 |
CN110597779A (zh) * | 2019-09-20 | 2019-12-20 | 浪潮电子信息产业股份有限公司 | 一种分布式文件系统中的数据读写方法及相关装置 |
CN114064347A (zh) * | 2022-01-18 | 2022-02-18 | 苏州浪潮智能科技有限公司 | 一种数据存储方法、装置、设备及计算机可读存储介质 |
CN114546707A (zh) * | 2022-01-17 | 2022-05-27 | 阿里巴巴(中国)有限公司 | 数据处理方法及装置 |
CN115756333A (zh) * | 2022-11-25 | 2023-03-07 | 重庆紫光华山智安科技有限公司 | 异常节点处理方法、装置、元数据服务器及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577274B (zh) * | 2012-07-31 | 2016-07-06 | 国际商业机器公司 | 管理存储器阵列的方法和装置 |
-
2023
- 2023-05-16 CN CN202310549162.XA patent/CN116312725B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532126A (zh) * | 2019-07-26 | 2019-12-03 | 西安交通大学 | 纠删码存储系统数据快速恢复方法、装置及存储介质 |
CN110597779A (zh) * | 2019-09-20 | 2019-12-20 | 浪潮电子信息产业股份有限公司 | 一种分布式文件系统中的数据读写方法及相关装置 |
CN114546707A (zh) * | 2022-01-17 | 2022-05-27 | 阿里巴巴(中国)有限公司 | 数据处理方法及装置 |
CN114064347A (zh) * | 2022-01-18 | 2022-02-18 | 苏州浪潮智能科技有限公司 | 一种数据存储方法、装置、设备及计算机可读存储介质 |
CN115756333A (zh) * | 2022-11-25 | 2023-03-07 | 重庆紫光华山智安科技有限公司 | 异常节点处理方法、装置、元数据服务器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116312725A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107656832B (zh) | 一种低数据重建开销的纠删码方法 | |
US11531593B2 (en) | Data encoding, decoding and recovering method for a distributed storage system | |
US9600365B2 (en) | Local erasure codes for data storage | |
Shahabinejad et al. | An efficient binary locally repairable code for hadoop distributed file system | |
CN102017425B (zh) | 用于执行级联纠错的方法和系统 | |
CN109814807B (zh) | 一种数据存储方法及装置 | |
CN112000512B (zh) | 一种数据修复方法及相关装置 | |
CN107689983B (zh) | 基于低修复带宽的云存储系统及方法 | |
CN111858142A (zh) | 一种数据处理方法、装置及电子设备和存储介质 | |
US20210208782A1 (en) | Erasure coding with overlapped local reconstruction codes | |
US10187084B2 (en) | Method of encoding data and data storage system | |
CN114237971A (zh) | 一种基于分布式存储系统的纠删码编码布局方法及系统 | |
CN116312725B (zh) | 一种数据存储方法、装置、电子设备和存储介质 | |
CN107402860B (zh) | 用于执行内建式自我测试的独立磁盘冗余数组译码系统 | |
JP7429223B2 (ja) | ターボ積符号の復号方法、装置、デコーダー及びコンピュータ記憶媒体 | |
US20090249171A1 (en) | Turbo decoder, base station and decoding method | |
CN116312724B (zh) | 一种适用于两校验编码存储系统数据存储方法和装置 | |
CN116312726B (zh) | 一种数据存储方法、装置、电子设备和存储介质 | |
CN110032331B (zh) | 用于通过绕过编码和解码来提高备份效率的方法和系统 | |
CN115061640B (zh) | 一种容错分布存储系统、方法、电子设备及介质 | |
CN111224747A (zh) | 可降低修复带宽和磁盘读取开销的编码方法及其修复方法 | |
CN108199720B (zh) | 一种减小存储开销和提高修复效率的节点修复方法及系统 | |
CN115269258A (zh) | 一种数据恢复的方法和系统 | |
CN114691414A (zh) | 一种校验块生成方法及一种数据恢复方法 | |
CN108170554B (zh) | 一种nand的数据编码方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |