CN115657965A - 一种元数据的配置方法、装置及介质 - Google Patents
一种元数据的配置方法、装置及介质 Download PDFInfo
- Publication number
- CN115657965A CN115657965A CN202211430871.8A CN202211430871A CN115657965A CN 115657965 A CN115657965 A CN 115657965A CN 202211430871 A CN202211430871 A CN 202211430871A CN 115657965 A CN115657965 A CN 115657965A
- Authority
- CN
- China
- Prior art keywords
- metadata
- hard disk
- data
- state
- recovery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000011084 recovery Methods 0.000 claims abstract description 116
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种元数据的配置方法、装置及介质,适用于存储技术领域。包括:获取故障硬盘和对应的元数据,根据故障硬盘确定对应的目标阵列以及替代硬盘;根据目标阵列、元数据和元数据对应的元数据空间地址确定数据配置状态;根据数据配置状态与目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态。在准备元数据的时间段内,仅根据条带的数据配置状态确定其恢复状态,避免现有的在准备元数据的时间段内将所有条带的状态信息以确定该条带的恢复状态导致的时间较长,本发明缩短准备元数据以确定条带的恢复状态的时间段,从而减少无法提供正常存储业务的时间,以实现元数据的配置时间优化,提高用户的体验感。
Description
技术领域
本发明涉及存储技术领域,特别是涉及一种元数据的配置方法、装置及介质。
背景技术
独立磁盘冗余阵列(Redundant Array of Independent Disks,RAID)是用多个独立的磁盘组成在一起形成一个大的磁盘系统,实现比单块磁盘更好的存储性能和更高的可靠性。元数据是在RAID运行中产生的数据,基于具有掉电保护功能的内存进行存储是目前的主流方式之一。多控制器系统为保证元数据不会因为控制器的损坏而丢失元数据,会在多个控制器上保护元数据的副本,要求当元数据中多个控制器一致后,在驱动器端口发生故障时进行替换。
在替换时,需要对RAID进行重构,其重构过程需要元数据描述条带的状态以区分当前条带是否重构。当硬盘故障触发重构启动时,需要将元数据中描述所有的条带状态的位标记为未重构状态。但RAID具有百万千万以上的条带,在元数据描述所有条带状态的准备元数据期间,存储系统在该时间段不能为用户提供存储业务,等准备元数据阶段完成后,进行写入数据时可正常提供存储业务。故使得存储系统在准备元数据的时间段内影响存储业务的连续性,同时由于条带的数据量较大,在准备元数据的时间段较长,导致无法提供正常存储业务的时间较长,影响用户的体验感。
因此,如何优化元数据的配置时间是本领域技术人员亟需要解决的。
发明内容
本发明的目的是提供一种元数据的配置方法、装置及介质,减少无法提供正常存储业务的时间,以实现元数据的配置时间优化,提高用户的体验感。
为解决上述技术问题,本发明提供一种元数据的配置方法,包括:
获取故障硬盘和对应的元数据,根据所述故障硬盘确定对应的目标阵列以及替代硬盘;
根据所述目标阵列、所述元数据和所述元数据对应的元数据空间地址确定数据配置状态;
根据所述数据配置状态与所述目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态;
当恢复条带的数量达到预设数量时,对各条带内所述元数据对应的数据在所述替代硬盘内进行恢复重构。
优选地,所述故障硬盘的确定过程,包括:
根据预设时间遍历各硬盘以检测各所述硬盘的多个端口是否正常工作;
若当前硬盘的多个所述端口均故障,则确定所述当前硬盘为所述故障硬盘。
优选地,根据所述故障硬盘确定所述替代硬盘,包括:
获取所述故障硬盘和热备硬盘对应的配置参数;
判断所述故障硬盘和所述热备硬盘对应的配置参数是否相同;
若相同,则确定所述热备硬盘为所述故障硬盘的所述替代硬盘。
优选地,所述根据所述目标阵列、所述元数据和所述元数据对应的元数据空间地址确定数据配置状态,包括:
获取所述目标阵列的阵列编号;
根据所述阵列编号索引所述元数据空间地址;
根据所述元数据空间地址以及所述元数据空间地址的个数划分所述目标阵列的数据区域;
在各数据区域内读取对应的初始数据配置状态;
将所述初始数据配置状态的状态值取反以得到所述数据配置状态的状态值。
优选地,所述根据所述数据配置状态与所述目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态,包括:
在各所述数据区域内获取对应的所述元数据空间数据;
判断所述数据配置状态的状态值与所述元数据空间数据的状态值是否相同;
若相同,则确定所述元数据对应的目标条带的所述恢复状态为已恢复状态;
若不同,则确定所述元数据对应的目标条带的所述恢复状态为未恢复状态。
优选地,所述对各条带内所述元数据对应的数据在所述替代硬盘内进行恢复重构,包括:
在当前恢复条带的恢复状态为所述已恢复状态的情况下,获取所述当前恢复条带内所述元数据对应的数据;
在所述替代硬盘内通过重构算法对所述当前恢复条带内的所述数据进行恢复;
当所述当前恢复条带内的所述数据恢复完毕后,更新所述替代硬盘对应的元数据以完成所述当前恢复条带的恢复重构。
优选地,所述更新所述替代硬盘对应的元数据,包括:
获取所述替代硬盘的空间地址以及所述空间地址的个数;
根据所述替代硬盘的空间地址和所述替代硬盘的空间地址的个数划分所述替代硬盘的数据区域;
在各替代硬盘的数据区域内读取所述替代硬盘的数据配置状态和所述替代硬盘的元数据空间数据;
将所述替代硬盘的元数据空间数据对应的状态值更新至所述替代硬盘的数据配置状态的状态值以得到最终数据配置状态。
优选地,在完成所述当前恢复条带的恢复重构之后,还包括:
根据时间间隔统计各所述已恢复状态的恢复条带以及各所述未恢复状态的恢复条带;
根据各恢复条带确定当前数据的恢复进度。
优选地,在所述根据各恢复条带确定当前数据的恢复进度之后,还包括:
当所述恢复进度小于阈值时,则返回至所述根据预设时间遍历各硬盘以检测各所述硬盘的多个端口是否正常工作的步骤。
优选地,所述目标阵列创建时申请元数据空间且所述元数据空间内的所述元数据空间数据在创建时为全0数据。
优选地,所述目标阵列内的硬盘所属的多个控制器对应的所述元数据空间地址不同,且具有相同的所述阵列编号。
优选地,还包括:
当各条带内的所述数据恢复重构完毕后,输出提示信息。
为解决上述技术问题,本发明还提供一种元数据的配置装置,包括:
第一确定模块,用于获取故障硬盘和对应的元数据,根据所述故障硬盘确定对应的目标阵列以及替代硬盘;
第二确定模块,用于根据所述目标阵列、所述元数据和所述元数据对应的元数据空间地址确定数据配置状态;
第三确定模块,用于根据所述数据配置状态与所述目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态;
重构模块,用于当恢复条带的数量达到预设数量时,对各条带内所述元数据对应的数据在所述替代硬盘内进行恢复重构。
为解决上述技术问题,本发明还提供一种元数据的配置装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述的元数据的配置方法的步骤。
为解决上述技术问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述元数据的配置方法的步骤。
本发明提供的一种元数据的配置方法,包括:获取故障硬盘和对应的元数据,根据故障硬盘确定对应的目标阵列以及替代硬盘;根据目标阵列、元数据和元数据对应的元数据空间地址确定数据配置状态;根据数据配置状态与目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态;当恢复条带的数量达到预设数量时,对各条带内元数据对应的数据在替代硬盘内进行恢复重构。该方法在准备元数据的时间段内,仅根据条带的数据配置状态确定其恢复状态,避免现有的在准备元数据的时间段内将所有条带的状态信息以确定该条带的恢复状态导致的时间较长,本发明缩短准备元数据以确定条带的恢复状态的时间段,从而减少无法提供正常存储业务的时间,以实现元数据的配置时间优化,提高用户的体验感。
另外,本发明还提供了一种元数据的配置装置及介质,具有如上述元数据的配置方法相同的有益效果。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种元数据的配置方法的流程图;
图2为本发明实施例提供的一种元数据的配置装置的结构图;
图3为本发明实施例提供的另一种元数据的配置装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本发明保护范围。
本发明的核心是提供一种元数据的配置方法、装置及介质,减少无法提供正常存储业务的时间,以实现元数据的配置时间优化,提高用户的体验感。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
需要说明的是,本发明提供的元数据的配置方法适用于多控制器系统,其多个驱动器(硬盘)端口与多个控制器交叉互联,多于两个控制器时,提供多端口的控制器配合提供多端口的驱动器柜,多端口的驱动器柜与多个控制器交叉互联。多个端口的驱动器,控制器感知驱动器所有的端口。本发明提供的配置方法无需百万千万以上的条带的单独配置以及多控制同步通信,驱动器故障时系统业务的中断时间减少。
图1为本发明实施例提供的一种元数据的配置方法的流程图,如图1所示,该方法包括:
S11:获取故障硬盘和对应的元数据,根据故障硬盘确定对应的目标阵列以及替代硬盘;
S12:根据目标阵列、元数据和元数据对应的元数据空间地址确定数据配置状态;
S13:根据数据配置状态与目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态;
S14:当恢复条带的数量达到预设数量时,对各条带内元数据对应的数据在替代硬盘内进行恢复重构。
可以理解的是,硬盘的元数据是描述条带的状态,区分当前条带是已经重构还是未重构,阵列将多个分块组合为条带,一个条带跨越多个磁盘,是阵列的基本冗余单位。条带宽度为单个条带跨越的磁盘数目,由用户在创建阵列时直接指定。可以使用位图进行存储元数据,例如标识有没有重构可以使用单个bit。
关于故障硬盘的确定,作为一种实施例,故障硬盘的确定过程,包括:
根据预设时间遍历各硬盘以检测各硬盘的多个端口是否正常工作;
若当前硬盘的多个端口均故障,则确定当前硬盘为故障硬盘。
具体地,当由于硬盘支持多端口,其控制器感知硬盘的所在端口都故障时,则硬盘设置离线事件,并发送到硬盘配置模块中对该硬盘进行配置,硬盘配置模块处理硬盘故障事件。
根据预设事件遍历各硬盘检测硬盘的多个端口是否正常工作,若当前硬盘的多个端口均故障,则确定当前硬盘无法正常工作,为故障硬盘。
根据故障硬盘确定对应的目标阵列和替代硬盘,其中,硬盘配置模块判断当前故障硬盘是否属于当前阵列,如果属于,则将当前故障硬盘的端口连接的控制器停止读写业务,当前阵列为目标阵列。如果不属于,则对该阵列不做任何处理。
作为一种实施例方式,根据故障硬盘确定替代硬盘,包括:
获取故障硬盘和热备硬盘对应的配置参数;
判断故障硬盘和热备硬盘对应的配置参数是否相同;
若相同,则确定热备硬盘为故障硬盘的替代硬盘。
具体地,读取故障硬盘和热备硬盘对应的配置参数,热备硬盘为备用的硬盘空间驱动器,不属于磁盘阵列内的任何存在的硬盘。热备硬盘与中央处理器(CentralProcessing Unit,CPU)系统直连的硬盘,它能自动替换下存储池中的故障盘。
热备硬盘最重要的作用相当于是在RAID里面再做一个备份盘。当RAID中有一块硬盘损坏时,存储池存在降级甚至数据丢失风险。此时,热备硬盘会自动添加到RAID阵列中,同时利用异或校验算法,把坏盘上面的数据原样做出来并存储在热备盘中,顶替状态异常的磁盘,修复RAID阵列。整个过程不需要人为干预(除了RAID 0以外),只需在数据复制完成之后人工更换一块新硬盘,将热备盘中的数据转移至新硬盘中,热备盘恢复原来的热备功能。正常情况下可以有多个磁盘作为热备盘。由于整个复制过程中,存储池都有冗余磁盘阵列的保护,能降低数据丢失的风险。另外,对于RAID5这些原需要计算异或校验的硬盘更换,不再需要数据重构,可减轻存储CPU的负担。本实施例中对应何种具体硬盘不做限定,可根据实际情况针对具体硬盘设定对应的替代硬盘。
判断故障硬盘和热备硬盘对应的配置参数是否相同,如果相同,则可以作为故障硬盘的替代硬盘。对应热备硬盘存在多个,其故障硬盘存在一个时,其在热备硬盘中选取一个作为替代硬盘,对应的选取规则可以选取其该故障硬盘在RAID阵列中所有替代硬盘中对应故障硬盘的距离最近的一个作为替代硬盘。选取规则也可以为其他规则,不做具体限定。在确定替代硬盘后,硬盘配置模块统计所有控制器的业务停止,进而进入元数据准备阶段。
步骤S12中的根据目标阵列、元数据和元数据对应的元数据空间地址确定数据配置状态。进入元数据准备阶段,元数据用于描述RAID的全部的条带的当前重构的状态,故结合目标阵列、元数据以及元数据对应的元数据空间地址确定当前的元数据的数据配置状态。可以理解的是,元数据用于描述数据的状态信息,其包括多种状态的记录,本实施例中仅是获取数据配置状态以此来实现后续的元数据准备阶段。对应地,关于三种数据如何确定数据配置状态,本实施例不做具体限定。
关于目标阵列,作为一种实施方式,目标阵列创建时申请元数据空间且元数据空间内的元数据空间数据在创建时为全0数据。
阵列创建时申请元数据空间,空间初始化数据值全0数据空间,通过内存保电保护数据。
作为一种实施例方式,目标阵列内的硬盘所属的多个控制器对应的元数据空间地址不同,且具有相同的阵列编号。
可以理解的是,在多控制器系统中,其硬盘连接对应的控制器具有不同的元数据空间地址,却具有相同的阵列编号。通过相同的阵列编号可以索引得到对应的元数据空间地址,以根据步骤S12中的确定数据配置状态。
作为一种实施例,根据目标阵列、元数据和元数据对应的元数据空间地址确定数据配置状态,包括:
获取目标阵列的阵列编号;
根据阵列编号索引元数据空间地址;
根据元数据空间地址以及元数据空间地址的个数划分目标阵列的数据区域;
在各数据区域内读取对应的初始数据配置状态;
将初始数据配置状态的状态值取反以得到数据配置状态的状态值。
具体地,通过阵列编号索引对应的元数据空间地址,多个控制器具有不同的元数据空间地址,但具有相同的阵列编号。
通过元数据空间地址以及元数据空间地址的个数对应划分目标阵列的数据区域,对应划分规则不做限定,可以是平均划分,也可以是根据权重划分等规则,根据实际情况设定即可,数据区域用于描述数据配置状态的空间。
在划分得到的各数据区域内读取初始数据配置状态,可以理解的是,在阵列创建时申请的数据空间,读取数据为全0的数据。将初始数据配置状态的状态值取反得到数据配置状态的状态值。例如,初始数据配置状态的状态值为0,取反后其状态值为1。数据配置状态用于后续的数据配置以及控制数据读写、中断、统计算法等。
在得到数据配置状态后,再根据数据配置状态与元数据空间数据状态的关系确定该元数据对应的条带的恢复状态。确定条带的恢复状态主要的目的是将故障硬盘中丢失的数据找回来,进而后续进行数据恢复工作。
本实施例中仅是在准备阶段寻找丢失的数据,其元数据空间状态为当前对应目标阵列的旧的数据,即故障硬盘在未出现故障之前正常运行的数据。
作为一种实施例,根据数据配置状态与目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态,包括:
在各数据区域内获取对应的元数据空间数据;
判断数据配置状态的状态值与元数据空间数据的状态值是否相同;
若相同,则确定元数据对应的目标条带的恢复状态为已恢复状态;
若不同,则确定元数据对应的目标条带的恢复状态为未恢复状态。
具体地,数据区域内获取的元数据空间数据为旧的数据,即故障硬盘在未出现故障之前正常运行的数据,将数据配置状态的状态值与元数据空间数据的状态值进行对比,当相同时,则确定目标条带为已恢复状态,当不同时,则确定目标条带为未恢复状态,说明丢失的数据未找回来。
当恢复条带的数据达到预设数据量,则对各条带内元数据对应的数据在替代硬盘内进行恢复重构,可以理解的是,由于条带的数量较多,其当恢复条带,也就是已恢复状态的条带数量达到一定数量后进行数据重构,已实现并发处理,节省处理时间。
本发明实施例提供的一种元数据的配置方法,包括:获取故障硬盘和对应的元数据,根据故障硬盘确定对应的目标阵列以及替代硬盘;根据目标阵列、元数据和元数据对应的元数据空间地址确定数据配置状态;根据数据配置状态与目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态;当恢复条带的数量达到预设数量时,对各条带内元数据对应的数据在替代硬盘内进行恢复重构。该方法在准备元数据的时间段内,仅根据条带的数据配置状态确定其恢复状态,避免现有的在准备元数据的时间段内将所有条带的状态信息以确定该条带的恢复状态导致的时间较长,本发明缩短准备元数据以确定条带的恢复状态的时间段,从而减少无法提供正常存储业务的时间,以实现元数据的配置时间优化,提高用户的体验感。
在上述实施例的基础上,步骤S14中的对各条带内元数据对应的数据在替代硬盘内进行恢复重构,包括:
在当前恢复条带的恢复状态为已恢复状态的情况下,获取当前恢复条带内元数据对应的数据;
在替代硬盘内通过重构算法对当前恢复条带内的数据进行恢复;
当当前恢复条带内的数据恢复完毕后,更新替代硬盘对应的元数据以完成当前恢复条带的恢复重构。
可以理解的是,确定当前恢复条带的状态是否为已恢复状态,若是,则对该当前恢复条带进行数据的恢复,则获取该当前恢复条带内的元数据对应的具体数据,在替代硬盘内通过重构算法对具体数据进行数据恢复。
关于重构算法在本实施例中不做具体限定,可以是一种重构算法,也可以是多个重构算法的结合,根据重构算法在用户数据报协议(User Data Protocol,UDP)传输中降低丢包导致的数据缺失的情况。可以为针对不同阵列的故障硬盘设置专用的重构算法,也可以是通用的重构算法,可根据实际情况设定。在进行数据恢复时,以条带为单位进行数据恢复。
当前恢复条带内的数据恢复完毕后,更新替代硬盘对应的元数据以完成恢复重构。
作为一种实施例,更新替代硬盘对应的元数据,包括:
获取替代硬盘的空间地址以及空间地址的个数;
根据替代硬盘的空间地址和替代硬盘的空间地址的个数划分替代硬盘的数据区域;
在各替代硬盘的数据区域内读取替代硬盘的数据配置状态和替代硬盘的元数据空间数据;
将替代硬盘的元数据空间数据对应的状态值更新至替代硬盘的数据配置状态的状态值以得到最终数据配置状态。
具体地,需要划分替代硬盘的数据区域,以便于更新对应的元数据,划分替代硬盘的数据区域和上述目标阵列的数据区域的划分相同,在此不做具体说明,可以参照上述相关实施例。
在各替代硬盘的数据区域内读取对应的数据配置状态和元数据空间数据,其两种数据为数据恢复后的状态值,将替代硬盘的元数据空间数据对应的状态值更新至替代硬盘的数据配置状态的状态值以得到最终数据配置状态,此时元数据更新完成。
作为一种实施例,在完成当前恢复条带的恢复重构之后,还包括:
根据时间间隔统计各已恢复状态的恢复条带以及各未恢复状态的恢复条带;
根据各恢复条带确定当前数据的恢复进度。
具体地,定时查看当前数据的恢复进度,可以通过统计的恢复条带确定,通过查看各已恢复状态的恢复条带以及各未恢复状态的恢复条带,根据已恢复状态的恢复条带的个数与未恢复状态的恢复条带的个数做相应的运算得到恢复进度。
可以理解的是,恢复进度可以通过已恢复状态的恢复条带的个数与总条带的个数做运算得到当前进度,关于条带的状态,若存在当前条带无法进行恢复,本实施例通过统计已恢复状态的恢复条带的个数与未恢复状态的恢复条带的个数确定的恢复进行较为准确。
在根据各恢复条带确定当前数据的恢复进度之后,作为一种实施例,该方法还包括:
当恢复进度小于阈值时,则返回至根据预设时间遍历各硬盘以检测各硬盘的多个端口是否正常工作的步骤。
通过硬盘配置模块更新恢复进度信息,将更新的当前进度信息通知至所有的控制器,进而读取元数据获取需要恢复的条带,其当恢复进度小于阈值时,则返回至根据预设时间遍历各硬盘以检测各硬盘的多个端口是否正常工作的步骤以获取需要恢复的条带,便于下一轮的循环恢复。
作为一种实施例,当各条带内的数据恢复重构完毕后,输出提示信息。
当所有条带内的数据恢复重构完毕后,输出提示信息以便于用户进行其他业务。其输出提示信息的方式本发明不做限定,可以是语音提示,也可以是页面弹窗形式等。
对应地,重构算法通过编程语言进行编写,通过编译器程序进行编译生成可在存储服务器或其他可运行冗余磁盘阵列逻辑的设备上执行的可执行程序文件或程序模块,或解释程序进行解释执行,通过替换阵列程序或作为阵列程序模块运行。数据组织形式配置时无需百万千万以上的条带的单独配置以及多控制同步通信,驱动器故障时系统业务的中断时间减少。
本发明实施例提供的对各条带内元数据对应的数据在替代硬盘内进行恢复重构,在重构阶段,通过条带的数据配置状态再次进行判断比对,以提高重构过程的数据准确性,同时减少重构的时间,提高效率。
上述详细描述了元数据的配置方法对应的各个实施例,在此基础上,本发明还公开与上述方法对应的元数据的配置装置,图2为本发明实施例提供的一种元数据的配置装置的结构图。如图2所示,元数据的配置装置包括:
第一确定模块11,用于获取故障硬盘和对应的元数据,根据故障硬盘确定对应的目标阵列以及替代硬盘;
第二确定模块12,用于根据目标阵列、元数据和元数据对应的元数据空间地址确定数据配置状态;
第三确定模块13,用于根据数据配置状态与目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态;
重构模块14,用于当恢复条带的数量达到预设数量时,对各条带内元数据对应的数据在替代硬盘内进行恢复重构。
由于装置部分的实施例与上述的实施例相互对应,因此装置部分的实施例请参照上述方法部分的实施例描述,在此不再赘述。
对于本发明提供的一种元数据的配置装置的介绍请参照上述方法实施例,本发明在此不再赘述,其具有上述元数据的配置方法相同的有益效果。
图3为本发明实施例提供的另一种元数据的配置装置的结构图,如图3所示,该装置包括:
存储器21,用于存储计算机程序;
处理器22,用于执行计算机程序时实现元数据的配置方法的步骤。
本实施例提供的元数据的配置装置可以包括但不限于智能手机、平板电脑、笔记本电脑或者台式电脑等。
其中,处理器22可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器22可以采用数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器22也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU;协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器22可以集成有图像处理器(Graphics Processing Unit,GPU),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器22还可以包括人工智能(Artificial Intelligence,AI)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器21可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器21还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器21至少用于存储以下计算机程序211,其中,该计算机程序被处理器22加载并执行之后,能够实现前述任一实施例公开的元数据的配置方法的相关步骤。另外,存储器21所存储的资源还可以包括操作系统212和数据213等,存储方式可以是短暂存储或者永久存储。其中,操作系统212可以包括Windows、Unix、Linux等。数据213可以包括但不限于元数据的配置方法所涉及到的数据等等。
在一些实施例中,元数据的配置装置还可包括有显示屏23、输入输出接口24、通信接口25、电源26以及通信总线27。
领域技术人员可以理解,图3中示出的结构并不构成对元数据的配置装置的限定,可以包括比图示更多或更少的组件。
处理器22通过调用存储于存储器21中的指令以实现上述任一实施例所提供的元数据的配置方法。
对于本发明提供的一种元数据的配置装置的介绍请参照上述方法实施例,本发明在此不再赘述,其具有上述元数据的配置方法相同的有益效果。
进一步的,本发明还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器22执行时实现如上述元数据的配置方法的步骤。
可以理解的是,如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的一种计算机可读存储介质的介绍请参照上述方法实施例,本发明在此不再赘述,其具有上述元数据的配置方法相同的有益效果。
作为一种实施例,本发明提出一种数据组织形式的配置装置,包括配置模块,元数据模块,调度模块,数据恢复模块,同步通信控制模块,模块间协调配合完成故障数据恢复的热备空间的工作。
配置模块包含事件感知与处理,多控制器协调的工作;元数据模块包元数据的存储,统计,读写以及中断功能;数据恢复模块用于执行数据恢复算法恢复指定位置的数据;同步通信模块用于控制器间通信以及控制器故障恢复;调度模块通过与上述三个模块配合,链接元数据与数据恢复模块,执行调度控制相关工作;本文提出的方法的关键点在于配置模块与元数据模块的元数据配置工作。提出的改进的RAID重构元数据形式,通过描述元数据位图元数据字段,配置以及对应的元数据识别方式,通过变更算法代替变更数据,消除了数据读写时间。
对于本发明提供的一种数据组织形式的配置装置的介绍请参照上述方法实施例,本发明在此不再赘述,其具有上述元数据的配置方法相同的有益效果。
以上对本发明所提供的一种元数据的配置方法、元数据的配置装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内 。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (15)
1.一种元数据的配置方法,其特征在于,包括:
获取故障硬盘和对应的元数据,根据所述故障硬盘确定对应的目标阵列以及替代硬盘;
根据所述目标阵列、所述元数据和所述元数据对应的元数据空间地址确定数据配置状态;
根据所述数据配置状态与所述目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态;
当恢复条带的数量达到预设数量时,对各条带内所述元数据对应的数据在所述替代硬盘内进行恢复重构。
2.根据权利要求1所述的元数据的配置方法,其特征在于,所述故障硬盘的确定过程,包括:
根据预设时间遍历各硬盘以检测各所述硬盘的多个端口是否正常工作;
若当前硬盘的多个所述端口均故障,则确定所述当前硬盘为所述故障硬盘。
3.根据权利要求2所述的元数据的配置方法,其特征在于,根据所述故障硬盘确定所述替代硬盘,包括:
获取所述故障硬盘和热备硬盘对应的配置参数;
判断所述故障硬盘和所述热备硬盘对应的配置参数是否相同;
若相同,则确定所述热备硬盘为所述故障硬盘的所述替代硬盘。
4.根据权利要求2所述的元数据的配置方法,其特征在于,所述根据所述目标阵列、所述元数据和所述元数据对应的元数据空间地址确定数据配置状态,包括:
获取所述目标阵列的阵列编号;
根据所述阵列编号索引所述元数据空间地址;
根据所述元数据空间地址以及所述元数据空间地址的个数划分所述目标阵列的数据区域;
在各数据区域内读取对应的初始数据配置状态;
将所述初始数据配置状态的状态值取反以得到所述数据配置状态的状态值。
5.根据权利要求4所述的元数据的配置方法,其特征在于,所述根据所述数据配置状态与所述目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态,包括:
在各所述数据区域内获取对应的所述元数据空间数据;
判断所述数据配置状态的状态值与所述元数据空间数据的状态值是否相同;
若相同,则确定所述元数据对应的目标条带的所述恢复状态为已恢复状态;
若不同,则确定所述元数据对应的目标条带的所述恢复状态为未恢复状态。
6.根据权利要求5所述的元数据的配置方法,其特征在于,所述对各条带内所述元数据对应的数据在所述替代硬盘内进行恢复重构,包括:
在当前恢复条带的恢复状态为所述已恢复状态的情况下,获取所述当前恢复条带内所述元数据对应的数据;
在所述替代硬盘内通过重构算法对所述当前恢复条带内的所述数据进行恢复;
当所述当前恢复条带内的所述数据恢复完毕后,更新所述替代硬盘对应的元数据以完成所述当前恢复条带的恢复重构。
7.根据权利要求6所述的元数据的配置方法,其特征在于,所述更新所述替代硬盘对应的元数据,包括:
获取所述替代硬盘的空间地址以及所述空间地址的个数;
根据所述替代硬盘的空间地址和所述替代硬盘的空间地址的个数划分所述替代硬盘的数据区域;
在各替代硬盘的数据区域内读取所述替代硬盘的数据配置状态和所述替代硬盘的元数据空间数据;
将所述替代硬盘的元数据空间数据对应的状态值更新至所述替代硬盘的数据配置状态的状态值以得到最终数据配置状态。
8.根据权利要求7所述的元数据的配置方法,其特征在于,在完成所述当前恢复条带的恢复重构之后,还包括:
根据时间间隔统计各所述已恢复状态的恢复条带以及各所述未恢复状态的恢复条带;
根据各恢复条带确定当前数据的恢复进度。
9.根据权利要求8所述的元数据的配置方法,其特征在于,在所述根据各恢复条带确定当前数据的恢复进度之后,还包括:
当所述恢复进度小于阈值时,则返回至所述根据预设时间遍历各硬盘以检测各所述硬盘的多个端口是否正常工作的步骤。
10.根据权利要求1所述的元数据的配置方法,其特征在于,所述目标阵列创建时申请元数据空间且所述元数据空间内的所述元数据空间数据在创建时为全0数据。
11.根据权利要求4所述的元数据的配置方法,其特征在于,所述目标阵列内的硬盘所属的多个控制器对应的所述元数据空间地址不同,且具有相同的所述阵列编号。
12.根据权利要求1至11任意一项所述的元数据的配置方法,其特征在于,还包括:
当各条带内的所述数据恢复重构完毕后,输出提示信息。
13.一种元数据的配置装置,其特征在于,包括:
第一确定模块,用于获取故障硬盘和对应的元数据,根据所述故障硬盘确定对应的目标阵列以及替代硬盘;
第二确定模块,用于根据所述目标阵列、所述元数据和所述元数据对应的元数据空间地址确定数据配置状态;
第三确定模块,用于根据所述数据配置状态与所述目标阵列的元数据空间数据状态的关系确定所属条带的恢复状态;
重构模块,用于当恢复条带的数量达到预设数量时,对各条带内所述元数据对应的数据在所述替代硬盘内进行恢复重构。
14.一种元数据的配置装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至12任一项所述的元数据的配置方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的元数据的配置方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211430871.8A CN115657965B (zh) | 2022-11-16 | 2022-11-16 | 一种元数据的配置方法、装置及介质 |
PCT/CN2023/121785 WO2024103977A1 (zh) | 2022-11-16 | 2023-09-26 | 一种元数据的配置方法、装置及非易失性可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211430871.8A CN115657965B (zh) | 2022-11-16 | 2022-11-16 | 一种元数据的配置方法、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115657965A true CN115657965A (zh) | 2023-01-31 |
CN115657965B CN115657965B (zh) | 2023-04-07 |
Family
ID=85021247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211430871.8A Active CN115657965B (zh) | 2022-11-16 | 2022-11-16 | 一种元数据的配置方法、装置及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115657965B (zh) |
WO (1) | WO2024103977A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116339644A (zh) * | 2023-05-26 | 2023-06-27 | 苏州浪潮智能科技有限公司 | 一种独立磁盘冗余阵列创建方法、装置、设备及介质 |
WO2024103977A1 (zh) * | 2022-11-16 | 2024-05-23 | 苏州元脑智能科技有限公司 | 一种元数据的配置方法、装置及非易失性可读存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104461388A (zh) * | 2014-12-04 | 2015-03-25 | 北京同有飞骥科技股份有限公司 | 一种存储阵列配置保存及仲裁方法 |
CN107544862A (zh) * | 2016-06-29 | 2018-01-05 | 中兴通讯股份有限公司 | 一种基于纠删码的存储数据重构方法和装置、存储节点 |
CN109542342A (zh) * | 2018-11-09 | 2019-03-29 | 锐捷网络股份有限公司 | 元数据管理与数据重构方法、设备及存储介质 |
CN109725822A (zh) * | 2017-10-27 | 2019-05-07 | 伊姆西Ip控股有限责任公司 | 用于管理存储系统的方法、设备和计算机程序产品 |
US20190317889A1 (en) * | 2018-04-15 | 2019-10-17 | Synology Inc. | Apparatuses and methods and computer program products for a redundant array of independent disk (raid) reconstruction |
CN110879761A (zh) * | 2018-09-05 | 2020-03-13 | 华为技术有限公司 | 硬盘故障处理方法、阵列控制器及硬盘 |
CN111880963A (zh) * | 2020-07-29 | 2020-11-03 | 北京浪潮数据技术有限公司 | 一种数据重构方法、装置、设备及存储介质 |
CN113360312A (zh) * | 2021-06-24 | 2021-09-07 | 苏州浪潮智能科技有限公司 | 一种硬盘故障处理方法、装置、设备及存储介质 |
CN113419685A (zh) * | 2021-07-12 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 基于smr的raid创建、针对raid的数据写入及raid恢复方法 |
CN113419686A (zh) * | 2021-07-12 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种raid重构方法及装置 |
CN114995760A (zh) * | 2022-05-31 | 2022-09-02 | 济南浪潮数据技术有限公司 | 一种恢复备份的方法、装置及介质 |
CN115129507A (zh) * | 2022-06-29 | 2022-09-30 | 苏州浪潮智能科技有限公司 | 实现快速raid阵列重组的方法、装置、设备、介质 |
CN115309348A (zh) * | 2022-10-11 | 2022-11-08 | 苏州浪潮智能科技有限公司 | 元数据的管理方法、装置和计算机设备和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726036B (zh) * | 2018-11-21 | 2021-08-20 | 华为技术有限公司 | 一种存储系统中的数据重构方法和装置 |
US11281386B2 (en) * | 2020-02-25 | 2022-03-22 | EMC IP Holding Company LLC | Disk array enclosure with metadata journal |
CN115657965B (zh) * | 2022-11-16 | 2023-04-07 | 苏州浪潮智能科技有限公司 | 一种元数据的配置方法、装置及介质 |
-
2022
- 2022-11-16 CN CN202211430871.8A patent/CN115657965B/zh active Active
-
2023
- 2023-09-26 WO PCT/CN2023/121785 patent/WO2024103977A1/zh unknown
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104461388A (zh) * | 2014-12-04 | 2015-03-25 | 北京同有飞骥科技股份有限公司 | 一种存储阵列配置保存及仲裁方法 |
CN107544862A (zh) * | 2016-06-29 | 2018-01-05 | 中兴通讯股份有限公司 | 一种基于纠删码的存储数据重构方法和装置、存储节点 |
CN109725822A (zh) * | 2017-10-27 | 2019-05-07 | 伊姆西Ip控股有限责任公司 | 用于管理存储系统的方法、设备和计算机程序产品 |
US20190317889A1 (en) * | 2018-04-15 | 2019-10-17 | Synology Inc. | Apparatuses and methods and computer program products for a redundant array of independent disk (raid) reconstruction |
CN110879761A (zh) * | 2018-09-05 | 2020-03-13 | 华为技术有限公司 | 硬盘故障处理方法、阵列控制器及硬盘 |
CN109542342A (zh) * | 2018-11-09 | 2019-03-29 | 锐捷网络股份有限公司 | 元数据管理与数据重构方法、设备及存储介质 |
CN111880963A (zh) * | 2020-07-29 | 2020-11-03 | 北京浪潮数据技术有限公司 | 一种数据重构方法、装置、设备及存储介质 |
CN113360312A (zh) * | 2021-06-24 | 2021-09-07 | 苏州浪潮智能科技有限公司 | 一种硬盘故障处理方法、装置、设备及存储介质 |
CN113419685A (zh) * | 2021-07-12 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 基于smr的raid创建、针对raid的数据写入及raid恢复方法 |
CN113419686A (zh) * | 2021-07-12 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种raid重构方法及装置 |
CN114995760A (zh) * | 2022-05-31 | 2022-09-02 | 济南浪潮数据技术有限公司 | 一种恢复备份的方法、装置及介质 |
CN115129507A (zh) * | 2022-06-29 | 2022-09-30 | 苏州浪潮智能科技有限公司 | 实现快速raid阵列重组的方法、装置、设备、介质 |
CN115309348A (zh) * | 2022-10-11 | 2022-11-08 | 苏州浪潮智能科技有限公司 | 元数据的管理方法、装置和计算机设备和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024103977A1 (zh) * | 2022-11-16 | 2024-05-23 | 苏州元脑智能科技有限公司 | 一种元数据的配置方法、装置及非易失性可读存储介质 |
CN116339644A (zh) * | 2023-05-26 | 2023-06-27 | 苏州浪潮智能科技有限公司 | 一种独立磁盘冗余阵列创建方法、装置、设备及介质 |
CN116339644B (zh) * | 2023-05-26 | 2023-08-11 | 苏州浪潮智能科技有限公司 | 一种独立磁盘冗余阵列创建方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115657965B (zh) | 2023-04-07 |
WO2024103977A1 (zh) | 2024-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115657965B (zh) | 一种元数据的配置方法、装置及介质 | |
CN104094236B (zh) | 防止数据丢失的系统和方法 | |
CN107844268B (zh) | 一种数据分发方法、数据存储方法、相关装置以及系统 | |
US8417989B2 (en) | Method and system for extra redundancy in a raid system | |
CN110389858B (zh) | 存储设备的故障恢复方法和设备 | |
CN107870731B (zh) | 独立盘冗余阵列系统的管理方法和电子设备 | |
CN111274077A (zh) | 一种磁盘阵列可靠性测试方法、系统、终端及存储介质 | |
CN106155943B (zh) | 一种双控存储设备的掉电保护的方法及装置 | |
CN110187841A (zh) | 一种存储系统管理磁盘的方法、装置及存储服务器 | |
CN110058965A (zh) | 存储系统中的数据重建方法及设备 | |
CN110333971A (zh) | Ssd坏块表备份方法、装置、计算机设备及存储介质 | |
CN105183583A (zh) | 一种磁盘阵列的数据重建的方法及一种磁盘阵列系统 | |
CN110046065A (zh) | 一种存储阵列重建方法、装置、设备及存储介质 | |
CN104407806B (zh) | 独立磁盘冗余阵列组硬盘信息的修改方法和装置 | |
CN117539386A (zh) | 磁盘阵列数据的处理方法、装置、设备及存储介质 | |
CN115562593A (zh) | 一种异常raid成员盘处理方法、装置及介质 | |
CN111857560A (zh) | 用于管理数据的方法、设备和计算机程序产品 | |
CN113625950B (zh) | 一种独立冗余磁盘阵列的初始化方法、系统、设备及介质 | |
CN104572350B (zh) | 一种元数据处理方法及装置 | |
CN110968456A (zh) | 分布式存储系统中故障磁盘的处理方法及装置 | |
CN111475378B (zh) | 一种扩展器Expander的监控方法、装置及设备 | |
CN114168389A (zh) | Cad文件的恢复方法、装置、存储介质及处理器 | |
CN103389919B (zh) | 一种基于冗余设备系统的数据处理方法及装置 | |
CN108334280B (zh) | 一种raid5磁盘组快速重建方法和装置 | |
CN111124754A (zh) | 一种数据恢复方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |