CN103593260A - 一种元数据的保护方法和装置 - Google Patents
一种元数据的保护方法和装置 Download PDFInfo
- Publication number
- CN103593260A CN103593260A CN201310487474.9A CN201310487474A CN103593260A CN 103593260 A CN103593260 A CN 103593260A CN 201310487474 A CN201310487474 A CN 201310487474A CN 103593260 A CN103593260 A CN 103593260A
- Authority
- CN
- China
- Prior art keywords
- storage unit
- unit group
- metadata
- hard disk
- parity check
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/104—Metadata, i.e. metadata associated with RAID systems with parity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/1045—Nested RAID, i.e. implementing a RAID scheme in another RAID scheme
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
本发明的实施例提供一种元数据的保护方法和装置,涉及计算机领域,为元数据多增加了一层保护机制,提高了安全性。具体方案为:首先将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,第一类存储单元组采用第一种独立冗余磁盘阵列RAID存储方式,然后在第一类存储单元组中选取至少两个存储单元组,并根据选取的至少两个存储单元组形成第三存储单元组,第三存储单元组存储有至少两个属于不同用户数据的元数据,第三存储单元组属于第二类存储单元组,第二类存储单元组采用第二种RAID存储方式,而后为第三存储单元组存储的至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。本发明用于元数据的保护。
Description
技术领域
本发明涉及计算机领域,尤其涉及一种元数据的保护方法和装置。
背景技术
在存储领域中,用户的数据分散存储在逻辑硬盘上,逻辑硬盘是由多个独立的物理硬盘或硬盘块组合而成的,硬盘块是指按照一定粒度划分物理硬盘组(若干个物理硬盘组合在一起)的硬盘空间实现块虚拟化,虚拟化的硬盘块内物理地址连续。
逻辑硬盘中存储的元数据是在用户业务配置以及运行过程中产生的,是用来表述用户存储数据的空间信息、映射关系以及配置信息等关键信息。元数据一旦遭到破坏逻辑硬盘将无法正常运行,所以元数据的保护显的至关重要。
独立冗余磁盘阵列(Redundant Array of Independent Disks,RAID)数据存储方式是把数据存储在由多个独立的物理硬盘或硬盘块组合而成的存储单元组上,通过把相同或不同的数据存储在多个物理硬盘或硬盘块上,实现了数据的备份或冗余保护。
RAID1是把一个硬盘块的数据镜像到另一个硬盘块上,也就是说数据在写入一个硬盘块的同时,会在另一个闲置的硬盘块上生成镜像文件,在不影响性能情况下最大限度的保证系统的可靠性和可修复性,只要系统中任何一对镜像硬盘块中至少有一个硬盘块可以使用,甚至可以在一半数量的硬盘块出现问题时系统都可以正常运行,当一个硬盘块失效时,系统会忽略该硬盘块,转而使用剩余的镜像硬盘块读写数据,具备很好的磁盘冗余能力。
现有技术中元数据是以既定的RAID1的数据保护方法进行数据备份与保护的,保护方式比较单一,当其中的一个或多个硬盘块发生故障时可能无法区分正确的数据或者存在数据恢复的存在风险,即使能够恢复数据也需要较长的时间去读取正确的元数据信息。
发明内容
本发明的实施例提供一种元数据的保护方法及装置,解决了保护方式单一导致的发生故障时可能无法区分正确的数据或者存在数据恢复风险的问题。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,提供一种元数据的保护方法,所述方法包括:
将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,所述第一类存储单元组采用第一种RAID存储方式;
在所述第一类存储单元组中选取至少两个存储单元组,并根据所述至少两个存储单元组形成第三存储单元组,所述第三存储单元组存储有至少两个属于不同用户数据的元数据,所述第三存储单元组属于第二类存储单元组,所述第二类存储单元组采用第二种RAID存储方式;
为所述第三存储单元组存储的所述至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。
结合第一方面,在第一种可能的实现方式中,将所述元数据中的属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,所述第一类存储单元组采用第一种RAID存储方式包括:
将所述元数据中的属于不同用户数据的元数据分别存储在对应的第一类存储单元组中的每个物理存储单元或硬盘块上;
所述第一类存储单元组包括至少两个物理存储单元或硬盘块,所述硬盘块是根据预设粒度划分物理存储单元组得到的。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,在所述第一类存储单元组中选取至少两个存储单元组,并根据所述至少两个存储单元组形成第三存储单元组包括:
在所述第一类存储单元组中至少两个存储单元组中的每个存储单元组中选出一个物理存储单元或硬盘块;
根据所述每个存储单元组中选出的物理存储单元或硬盘块组成所述第三存储单元组;
所述第三存储单元组包括至少三个物理存储单元或硬盘块,所述硬盘块是根据预设粒度划分物理存储单元组得到的。
结合第一方面,在第三种可能的实现方式中,为所述第三存储单元组存储的所述至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存还包括:
为所述第一奇偶校验码和至少一个其他的奇偶校验码生成第二奇偶校验码并储存;
所述至少一个其他的奇偶校验码为除所述第二类存储单元组中除第三存储单元组外其他的采用第二种RAID存储方式的存储单元组存储的至少两个属于不同用户数据的元数据的奇偶校验码。
结合第一方面,在第四种可能的实现方式中,所述第一种RAID存储方式为RAID1,所述第二种RAID存储方式为RAID5。
第二方面,提供一种元数据的保护装置,所述装置包括:
存储模块,用于获取元数据,并将所述元数据中的属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,所述第一类存储单元组采用第一种RAID存储方式;
保护模块,用于在所述第一类存储单元组中选取至少两个存储单元组,并根据所述至少两个存储单元组形成第三存储单元组,所述第三存储单元组存储有至少两个属于不同用户数据的元数据,所述第三存储单元组属于第二类存储单元组,所述第二类存储单元组采用第二种RAID存储方式;
奇偶校验码模块,用于为所述第三存储单元组存储的所述至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。
结合第二方面,在第一种可能的实现方式中,所述存储模块具体用于:
将所述元数据中的属于不同用户数据的元数据分别存储在对应的第一类存储单元组中的每个物理存储单元或硬盘块上;
所述第一类存储单元组包括至少两个物理存储单元或硬盘块,所述硬盘块是根据预设粒度划分物理存储单元组得到的。
结合第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述保护模块具体用于:
在所述第一类存储单元组中至少两个存储单元组中的每个存储单元组中选出一个物理存储单元或硬盘块;
根据所述每个存储单元组中选出的物理存储单元或硬盘块组成所述第三存储单元组;
所述第二类存储单元组包括至少三个物理存储单元或硬盘块,所述硬盘块是根据预设粒度划分物理存储单元组得到的。
结合第二方面,在第三种可能的实现方式中,所述奇偶校验码模块还用于:
为所述第一奇偶校验码和至少一个其他的奇偶校验码生成第二奇偶校验码并储存;
所述至少一个其他的奇偶校验码为除所述第二类存储单元组中除第三存储单元组外其他的采用第二种RAID存储方式的存储单元组存储的至少两个属于不同用户数据的元数据的奇偶校验码。
结合第二方面,在第四种可能的实现方式中,所述第一种RAID存储方式为RAID1,所述第二种RAID存储方式为RAID5。
本发明的实施例提供一种元数据的保护方法和装置,首先获取元数据,并将所述元数据中的属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,所述第一类存储单元组采用第一种RAID存储方式,然后在所述第一类存储单元组中选取至少两个存储单元组,并根据所述至少两个存储单元组形成第三存储单元组,所述第三存储单元组存储有至少两个属于不同用户数据的元数据,所述第三存储单元组属于第二类存储单元组,所述第二类存储单元组采用第二种RAID存储方式,而后为所述第三存储单元组存储的所述至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。这样为元数据多增加了一层保护机制,降低了数据恢复的风险,提高了安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种元数据的保护方法的流程示意图一;
图2为本发明实施例提供的一种元数据的保护方法的流程示意图二;
图3为本发明实施例提供的一种元数据的保护方法的效果示意图一;
图4为本发明实施例提供的一种元数据的保护方法的效果示意图二;
图5为本发明的实施例提供的一种元数据的保护装置的结构示意图一;
图6为本发明的实施例提供的一种元数据的保护装置的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例提供一种元数据的保护方法,如图1所示,该方法包括:
101、将元数据中的属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,第一类存储单元组采用第一种RAID存储方式。
102、在第一类存储单元组中选取至少两个存储单元组,并根据至少两个存储单元组形成第三存储单元组,第三存储单元组存储有至少两个属于不同用户数据的元数据,第三存储单元组属于第二类存储单元组,第二类存储单元组采用第二种RAID存储方式。
103、为第三存储单元组存储的至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。
本发明的实施例提供一种元数据的保护方法,首先将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,第一类存储单元组采用第一种RAID存储方式,然后在第一类存储单元组中选取至少两个存储单元组,并根据选取的至少两个存储单元组形成第三存储单元组,第三存储单元组存储有至少两个属于不同用户数据的元数据,第三存储单元组属于第二类存储单元组,第二类存储单元组采用第二种RAID存储方式,而后为第三存储单元组存储的至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。这样为元数据多增加了一层保护机制,提高了安全性。
本发明的实施例还提供一种元数据的保护方法,如图2所示,该方法包括:
201、将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,第一类存储单元组采用第一种RAID存储方式。
示例性的,在本发明实施例中的存储单元组可以是由物理存储单元组成或由硬盘块组成的,其中,硬盘块(Chunk)是将硬盘空间按照一定的切分粒度划分得到的硬盘空间,硬盘块内硬盘物理地址连续。以第一类存储单元组为例,若第一类存储单元组是由物理存储单元组成的,则第一类存储单元组至少包括两个物理存储单元,若第一类存储单元组是由硬盘块组成的,则第一类存储单元组至少包括两个硬盘块,另外,由多个硬盘块按照指定的RAID类型组成的逻辑空间称为硬盘块组(Chunk Group),因此,也可以将第一类存储单元组称为第一类Chunk Group,下文的第二类存储单元组也同样适用。其中,物理存储单元可以为物理硬盘,比如磁盘或者SSD(Solid StateDisk,固态硬盘),或者可以为闪存,还可以为光盘或者其他物理存储器。
故将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,具体可以通过:
将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中的每个物理存储单元或硬盘块上;
第一类存储单元组包括至少两个物理存储单元或硬盘块。该硬盘块是根据预设粒度划分物理存储单元组得到的。
其中,本发明实施例中提及的第一种RAID存储方式可以是RAID1,以物理硬盘为例,上述的物理存储单元组可以由多个大容量的物理硬盘组成,例如用4个500G的物理硬盘组成一个物理存储单元组。
其中,RAID1是把一个物理存储单元或硬盘块的数据镜像到另一个物理存储单元或硬盘块上的技术,也就是说数据在写入一个物理存储单元或硬盘块的同时,会在另一个闲置的物理存储单元或硬盘块上生成镜像文件,在不影响性能情况下最大限度的保证系统的可靠性和可修复性,只要系统中任何一对镜像物理存储单元或硬盘块中至少有一个物理存储单元或硬盘块可以使用,甚至可以在一半数量的物理存储单元或硬盘块出现问题时系统都可以正常运行,当一个物理存储单元或硬盘块失效时,系统会忽略该物理存储单元或硬盘块,转而使用剩余的镜像物理存储单元或硬盘块读写数据,具备很好的磁盘冗余能力。
202、在第一类存储单元组中选取至少两个存储单元组,并根据至少两个存储单元组形成第三存储单元组。
示例性的,可以通过:
在第一类存储单元组中至少两个存储单元组中的每个存储单元组中选出一个物理存储单元或硬盘块,优选的,可以从上述至少两个存储单元组中的每个存储单元组中各自选出一个健康状态最好的物理存储单元或硬盘块;
根据每个存储单元组中选出的物理存储单元或硬盘块组成第三存储单元组;
第三存储单元组属于第二类存储单元组,第三存储单元组存储有至少两个属于不同用户数据的元数据,第二类存储单元组采用第二种RAID存储方式。
其中,上述第二类存储单元组包括至少三个物理存储单元或硬盘块,该硬盘块是根据预设粒度划分物理存储单元组得到的,所以第三存储单元组也包括至少三个物理存储单元或硬盘块。
示例性的,在本发明实施例中提及的第二种RAID存储方式可以是RAID5。
其中,RAID5是一种为数据生成奇偶校验码后,将数据所在的物理存储单元(或硬盘块)和相对应的奇偶校验码所在的物理存储单元(或硬盘块)组成存储单元组的技术。当RAID5的一个物理存储单元(或硬盘块)数据发生损坏后,可以利用剩下的数据和相应的奇偶校验码去恢复被损坏的数据。
RAID5数据存储方式至少需要三个物理存储单元或硬盘块,把数据和相对应的奇偶校验码存储到组成RAID5的各个物理存储单元或硬盘块上,并且奇偶校验码和相对应的数据分别存储于不同的物理存储单元或硬盘块上,其中任意n-1(n为组成RAID5的物理存储单元或硬盘块的个数)个物理存储单元或硬盘块上都存储完整的数据,也就是说有相当于一个物理存储单元或硬盘块容量的空间用于存储奇偶校验码。因此当RAID5的一个物理存储单元或硬盘块发生损坏后,不会影响数据的完整性,从而保证了数据安全。当损坏的物理存储单元或硬盘块被替换后,RAID还会自动利用剩下奇偶校验码去重建此物理存储单元或硬盘块上的数据,保持了数据存储的高可靠性。
203、为第三存储单元组存储的至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。
示例性的,奇偶校验码可以是垂直奇偶校验码、水平奇偶校验码或水平垂直奇偶校验码。
204、为第一奇偶校验码和至少一个其他的奇偶校验码生成第二奇偶校验码并储存。
具体的,上述至少一个其他的奇偶校验码为除第二类存储单元组中除第三存储单元组外其他的采用第二种RAID存储方式的存储单元组存储的至少两个属于不同用户数据的元数据的奇偶校验码。
为了使本领域技术人员能够更清楚地理解本发明实施例提供的技术方案,下面通过具体的例子,对本发明的实施例提供的另一种元数据的保护方法进行详细说明:
例1,如图3所示,假设图中黑色和白色部分是采用了第一类存储方式RAID1的第一存储单元组和第二存储单元组,其中,第一存储单元组由硬盘块A、B、C组成,硬盘块A、B、C上存储有相同的元数据1,第二存储单元组由硬盘块D、E、Z组成,硬盘块D、E、Z上存储有相同的元数据2,然后在第一存储单元组和第二存储单元组中选择硬盘块A和D,对硬盘块A和D上存储的元数据1和元数据2进行异或运算得到元数据1和元数据2的奇偶校验码1,将得到的奇偶校验码1存储在硬盘块Z上,奇偶校验码1属于第一奇偶校验码,硬盘块A、D、Z以RAID5的存储方式组成第三存储单元组,第三存储单元组属于第二类存储单元组。从而为元数据增加了一层保护机制,能够更好的保护元数据。
例2,如图4所示,硬盘块G、H、I组成第四存储单元组,硬盘块J、K、L组成第五存储单元组,硬盘块O、P、Q组成第六存储单元组,硬盘块R、S、T组成第七存储单元组,第四、五、六、七存储单元组分别存储有元数据3、4、5、6,第四、五、六、七存储单元组均采用RAID1的存储方式且都属于第一类存储单元组,按照例1中的方法得到元数据3和元数据4的奇偶校验码2以及元数据5和元数据6的奇偶校验码4,然后对奇偶校验码2和奇偶校验码3异或运算得到奇偶校验码2和奇偶校验码3的奇偶校验码4,奇偶校验码2和奇偶校验码3属于第一奇偶校验码,奇偶校验码4属于第二奇偶校验码,硬盘块G、M、J组成第八存储单元组,硬盘块O、R、N组成第九存储单元组,硬盘块M、N、U组成第十存储单元组,第八、九、十存储单元组均以RAID5存储方式组成,第八、九、十存储单元组属于第二类存储单元组。这样对奇偶校验码也进行了保护,进一步增强了对元数据的保护。这里还要指出的是,本例中存储元数据3和元数据4的奇偶校验码2的硬盘块M并非是专门用来存储奇偶校验码的,可以用存储其他元数据的硬盘块来存储奇偶校验码,比如说可以是存储元数据5的硬盘块P。这是因为,对于RAID5存储方式,是将元数据和元数据的奇偶校验码分开存储在不同的硬盘块上,不同元数据和对应的不同的奇偶校验码分开交叉存储在不同的硬盘块上,只要保证元数据和该元数据对应的奇偶校验码没有存储在同一个硬盘块上,这样存储的效果就相当于用一个硬盘块单独存储奇偶校验码。
另外值得一提的是,上述例1和例2中的奇偶校验码可以用来校验存储在硬盘块上的元数据是否正确。例如在例1中假设通过校验计算得知硬盘块A上存储的元数据1错误,那么向硬盘块A上重新存储正确的元数据1,如果硬盘块A损坏则用新的健康状态良好的硬盘块替换硬盘块A并将正确的元数据1存储在新的硬盘块上。上述例1和例2中的奇偶校验码还可以用来恢复损坏的元数据。例如在例2中假设存储在硬盘块G、H、I上的元数据3全部错误且存储在硬盘块M上的奇偶校验码2也错误,则可以根据硬盘块N上存储的奇偶校验码3和硬盘块U上存储的奇偶校验码4通过冗余恢复计算得到奇偶校验码2并存储在硬盘块M上,如果硬盘块M损坏则用新的健康状态良好的硬盘块替换硬盘块M并将正确的奇偶校验码2存储在新的硬盘块上,再根据奇偶校验码2和硬盘块K、J、L上存储的元数据4通过冗余恢复计算得到正确的元数据3并对应存储在硬盘块G、H、I上,如果硬盘块G、H、I中有损坏的则用新的健康状态良好的硬盘块替换损坏掉的并将正确的元数据3存储在新的硬盘块上。通过这样的方法,为元数据增加了一层保护机制,更好的保护了元数据,在发生意外时也能够比较容易恢复丢失的数据。
最后,还要指出的是,在现有技术中,一般是以4个存储单元以RAID1的形式存储元数据,如果有N个不同的元数据就需要4N个存储单元,然而根据上述的本发明提供的元数据保护方法存储N个不同的元数据不需要4N个存储单元,这样就能够节省存储空间也即减少了冗余空间。比如在例1中,N=2,每个元数据需要4个存储单元来保护数据,采用例1提供的方法只需要3N+1=7个存储单元,若采用现有技术的方法则需要4N=8个存储单元,因此,相比现有技术,减少了N-1=1个存储单元,由此可以看出冗余度相同的情况下减少了冗余空间。
本发明的实施例提供一种元数据的保护方法,首先将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,第一类存储单元组采用第一种RAID存储方式,然后在第一类存储单元组中选取至少两个存储单元组,并根据选取的至少两个存储单元组形成第三存储单元组,第三存储单元组有至少两个属于不同用户数据的元数据,第三存储单元组属于第二类存储单元组,第二类存储单元组采用第二种RAID存储方式,而后为第三存储单元组存储的至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。这样为元数据多增加了一层保护机制,提高了安全性,并且在冗余度相同的情况下减少了冗余空间。
本发明的实施例还提供一种元数据的保护装置00,如图5所示,该保护装置包括:
存储模块10,用于将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,第一类存储单元组采用第一种RAID存储方式。
可选的,存储模块10可以具体用于:
将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中的每个物理存储单元或硬盘块上;
第一类存储单元组包括至少两个物理存储单元或硬盘块,该硬盘块是根据预设粒度划分物理存储单元组得到的。
保护模块20,用于在第一类存储单元组中选取至少两个存储单元组,并根据至少两个存储单元组形成第三存储单元组,第三存储单元组存储有至少两个属于不同用户数据的元数据,第三存储单元组属于第二类存储单元组,第二类存储单元组采用第二种RAID存储方式。
可选的,保护模块20可以具体用于:
在第一类存储单元组中至少两个存储单元组中的每个存储单元组中选出一个物理存储单元或硬盘块;
根据每个存储单元组中选出的物理存储单元或硬盘块组成第三存储单元组;
第三存储单元组包括至少三个物理存储单元或硬盘块,硬盘块是根据预设粒度划分物理存储单元组得到的。
奇偶校验码模块30,用于为第三存储单元组存储的至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。
具体的,该模块还可以用于为第一奇偶校验码和至少一个其他的奇偶校验码生成第二奇偶校验码并储存。
其中,上述至少一个其他的奇偶校验码为除第二类存储单元组中除第三存储单元组外其他的采用第二种RAID存储方式的存储单元组存储的至少两个属于不同用户数据的元数据的奇偶校验码。
示例性的,上述的奇偶校验码可以是垂直奇偶校验码,水平奇偶校验码或者水平垂直奇偶校验码。
本发明的实施例提供一种元数据的保护装置,首先将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,第一类存储单元组采用第一种RAID存储方式,然后在第一类存储单元组中选取至少两个存储单元组,并根据选取的至少两个存储单元组形成第三存储单元组,第三存储单元组有至少两个属于不同用户数据的元数据,第三存储单元组属于第二类存储单元组,第二类存储单元组采用第二种RAID存储方式,而后为第三存储单元组存储的至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。这样为元数据多增加了一层保护机制,提高了安全性。
本发明的实施例还提供一种元数据的保护装置90,如图6所示,该装置90包括:总线94;以及连接到总线94的处理器91、存储器92和接口93,其中该接口93用于通信;该存储器92用于存储指令,处理器91用于执行该指令用于:
将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,第一类存储单元组采用第一种独立冗余磁盘阵列RAID存储方式;
在第一类存储单元组中选取至少两个存储单元组,并根据至少两个存储单元组形成第三存储单元组,第三存储单元组存储有至少两个属于不同用户数据的元数据,第三存储单元组属于第二类存储单元组,第二类存储单元组采用第二种RAID存储方式;
为第三存储单元组存储的至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。
可选的,处理器91执行该指令可以具体用于:
将所述元数据中的属于不同用户数据的元数据分别存储在对应的第一类存储单元组中的每个硬盘或硬盘块上;
所述第一类存储单元组包括至少两个物理存储单元或硬盘块,所述硬盘块是根据预设粒度划分物理存储单元组得到的。
可选的,处理器91执行该指令还可以具体用于:
在第一类存储单元组中至少两个存储单元组中的每个存储单元组中选出一个物理存储单元或硬盘块;
根据每个存储单元组中选出的物理存储单元或硬盘块组成第三存储单元组;
第三存储单元组包括至少三个物理存储单元或硬盘块,所述硬盘块是根据预设粒度划分物理存储单元组得到的。
可选的,处理器91执行该指令用于:为第一奇偶校验码和至少一个其他的奇偶校验码生成第二奇偶校验码并储存。
其中,至少一个其他的奇偶校验码为第二类存储单元组中除第三存储单元组外其他的采用存储单元组存储的至少两个属于不同用户数据的元数据的奇偶校验码。
可选的,第一种RAID存储方式可以为RAID1,第二种RAID存储方式可以为RAID5。
本发明的实施例提供一种元数据的保护装置,首先将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,第一类存储单元组采用第一种RAID存储方式,然后在第一类存储单元组中选取至少两个存储单元组,并根据选取的至少两个存储单元组形成第三存储单元组,第三存储单元组有至少两个属于不同用户数据的元数据,第三存储单元组属于第二类存储单元组,第二类存储单元组采用第二种RAID存储方式,而后为第三存储单元组存储的至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。这样为元数据多增加了一层保护机制,提高了安全性。
本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另一点,所显示或讨论的模块相互之间的连接可以是通过一些接口,可以是电性,机械或其它的形式。所述各个模块可以是或者也可以不是物理上分开的,可以是或者也可以不是物理单元。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理包括,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
上述以软件功能单元的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种元数据的保护方法,其特征在于,包括:
将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,所述第一类存储单元组采用第一种独立冗余磁盘阵列RAID存储方式;
在所述第一类存储单元组中选取至少两个存储单元组,并根据所述至少两个存储单元组形成第三存储单元组,所述第三存储单元组存储有至少两个属于不同用户数据的元数据,所述第三存储单元组属于第二类存储单元组,所述第二类存储单元组采用第二种RAID存储方式;
为所述第三存储单元组存储的所述至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。
2.根据权利要求1所述的方法,其特征在于,将所述元数据中的属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,所述第一类存储单元组采用第一种RAID存储方式包括:
将所述元数据中的属于不同用户数据的元数据分别存储在对应的第一类存储单元组中的每个硬盘或硬盘块上;
所述第一类存储单元组包括至少两个物理存储单元或硬盘块,所述硬盘块是根据预设粒度划分物理存储单元组得到的。
3.根据权利要求2所述的方法,其特征在于,在所述第一类存储单元组中选取至少两个存储单元组,并根据所述至少两个存储单元组形成第三存储单元组包括:
在所述第一类存储单元组中至少两个存储单元组中的每个存储单元组中选出一个物理存储单元或硬盘块;
根据所述每个存储单元组中选出的物理存储单元或硬盘块组成所述第三存储单元组;
所述第三存储单元组包括至少三个物理存储单元或硬盘块,所述硬盘块是根据预设粒度划分物理存储单元组得到的。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
为所述第一奇偶校验码和至少一个其他的奇偶校验码生成第二奇偶校验码并储存;
所述至少一个其他的奇偶校验码为所述第二类存储单元组中除第三存储单元组外其他的采用存储单元组存储的至少两个属于不同用户数据的元数据的奇偶校验码。
5.根据权利要求1所述的方法,其特征在于,所述第一种RAID存储方式为RAID1,所述第二种RAID存储方式为RAID5。
6.一种元数据的保护装置,其特征在于,包括:
存储模块,用于将属于不同用户数据的元数据分别存储在对应的第一类存储单元组中,所述第一类存储单元组采用第一种独立冗余磁盘阵列RAID存储方式;
保护模块,用于在所述第一类存储单元组中选取至少两个存储单元组,并根据所述至少两个存储单元组形成第三存储单元组,所述第三存储单元组存储有至少两个属于不同用户数据的元数据,所述第三存储单元组属于第二类存储单元组,所述第二类存储单元组采用第二种RAID存储方式;
奇偶校验码模块,用于为所述第三存储单元组存储的所述至少两个属于不同用户数据的元数据生成第一奇偶校验码并储存。
7.根据权利要求6所述的装置,其特征在于,所述存储模块具体用于:
将所述元数据中的属于不同用户数据的元数据分别存储在对应的第一类存储单元组中的每个物理存储单元或硬盘块上;
所述第一类存储单元组包括至少两个物理存储单元或硬盘块,所述硬盘块是根据预设粒度划分物理存储单元组得到的。
8.根据权利要求7所述的装置,其特征在于,所述保护模块具体用于:
在所述第一类存储单元组中至少两个存储单元组中的每个存储单元组中选出一个物理存储单元或硬盘块;
根据所述每个存储单元组中选出的物理存储单元或硬盘块组成所述第三存储单元组;
所述第三存储单元组包括至少三个物理存储单元或硬盘块,所述硬盘块是根据预设粒度划分物理存储单元组得到的。
9.根据权利要求6所述的装置,其特征在于,奇偶校验码模块还用于:
为所述第一奇偶校验码和至少一个其他的奇偶校验码生成第二奇偶校验码并储存;
所述至少一个其他的奇偶校验码为除所述第二类存储单元组中除第三存储单元组外其他的采用第二种RAID存储方式的存储单元组存储的至少两个属于不同用户数据的元数据的奇偶校验码。
10.根据权利要求6所述的装置,其特征在于,所述第一种RAID存储方式为RAID1,所述第二种RAID存储方式为RAID5。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310487474.9A CN103593260B (zh) | 2013-10-17 | 2013-10-17 | 一种元数据的保护方法和装置 |
PCT/CN2014/083034 WO2015055033A1 (zh) | 2013-10-17 | 2014-07-25 | 一种元数据的保护方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310487474.9A CN103593260B (zh) | 2013-10-17 | 2013-10-17 | 一种元数据的保护方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103593260A true CN103593260A (zh) | 2014-02-19 |
CN103593260B CN103593260B (zh) | 2016-10-05 |
Family
ID=50083415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310487474.9A Active CN103593260B (zh) | 2013-10-17 | 2013-10-17 | 一种元数据的保护方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN103593260B (zh) |
WO (1) | WO2015055033A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015055033A1 (zh) * | 2013-10-17 | 2015-04-23 | 华为技术有限公司 | 一种元数据的保护方法和装置 |
CN107315659A (zh) * | 2017-06-27 | 2017-11-03 | 郑州云海信息技术有限公司 | 一种元数据的冗余备份方法及装置 |
TWI621014B (zh) * | 2015-07-06 | 2018-04-11 | 上海寶存信息科技有限公司 | 資料儲存裝置、存取系統、以及存取方法 |
CN109032513A (zh) * | 2018-07-16 | 2018-12-18 | 山东大学 | 基于ssd和hdd的raid架构及其备份、重建方法 |
CN109101437A (zh) * | 2018-07-20 | 2018-12-28 | 浪潮电子信息产业股份有限公司 | 一种数据存储方法与终端 |
US10191841B2 (en) | 2015-07-06 | 2019-01-29 | Shannon Systems Ltd. | Host device, access system, and access method |
CN112988081A (zh) * | 2021-05-17 | 2021-06-18 | 浙江正泰仪器仪表有限责任公司 | 一种电量数据存储、抄读方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510145A (zh) * | 2009-03-27 | 2009-08-19 | 杭州华三通信技术有限公司 | 一种存储系统管理方法和装置 |
US20100037091A1 (en) * | 2008-08-06 | 2010-02-11 | Anant Baderdinni | Logical drive bad block management of redundant array of independent disks |
CN102117297A (zh) * | 2009-12-31 | 2011-07-06 | 华为技术有限公司 | 流媒体文件处理方法、装置和系统 |
CN103067461A (zh) * | 2012-12-18 | 2013-04-24 | 曙光信息产业(北京)有限公司 | 一种文件的元数据管理系统以及元数据管理方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7512736B1 (en) * | 2005-05-02 | 2009-03-31 | Nvidia Corporation | System and method for adaptive raid configuration |
CN100371877C (zh) * | 2006-03-28 | 2008-02-27 | 威盛电子股份有限公司 | 独立磁盘多重阵列系统及其建置方法 |
US8171379B2 (en) * | 2008-02-18 | 2012-05-01 | Dell Products L.P. | Methods, systems and media for data recovery using global parity for multiple independent RAID levels |
CN103176858B (zh) * | 2013-03-11 | 2017-05-03 | 北京忆恒创源科技有限公司 | 具有多个固态盘的存储设备 |
CN103593260B (zh) * | 2013-10-17 | 2016-10-05 | 华为技术有限公司 | 一种元数据的保护方法和装置 |
-
2013
- 2013-10-17 CN CN201310487474.9A patent/CN103593260B/zh active Active
-
2014
- 2014-07-25 WO PCT/CN2014/083034 patent/WO2015055033A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100037091A1 (en) * | 2008-08-06 | 2010-02-11 | Anant Baderdinni | Logical drive bad block management of redundant array of independent disks |
CN101510145A (zh) * | 2009-03-27 | 2009-08-19 | 杭州华三通信技术有限公司 | 一种存储系统管理方法和装置 |
CN102117297A (zh) * | 2009-12-31 | 2011-07-06 | 华为技术有限公司 | 流媒体文件处理方法、装置和系统 |
CN103067461A (zh) * | 2012-12-18 | 2013-04-24 | 曙光信息产业(北京)有限公司 | 一种文件的元数据管理系统以及元数据管理方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015055033A1 (zh) * | 2013-10-17 | 2015-04-23 | 华为技术有限公司 | 一种元数据的保护方法和装置 |
TWI621014B (zh) * | 2015-07-06 | 2018-04-11 | 上海寶存信息科技有限公司 | 資料儲存裝置、存取系統、以及存取方法 |
US10191841B2 (en) | 2015-07-06 | 2019-01-29 | Shannon Systems Ltd. | Host device, access system, and access method |
CN107315659A (zh) * | 2017-06-27 | 2017-11-03 | 郑州云海信息技术有限公司 | 一种元数据的冗余备份方法及装置 |
CN107315659B (zh) * | 2017-06-27 | 2020-09-18 | 苏州浪潮智能科技有限公司 | 一种元数据的冗余备份方法及装置 |
CN109032513A (zh) * | 2018-07-16 | 2018-12-18 | 山东大学 | 基于ssd和hdd的raid架构及其备份、重建方法 |
CN109101437A (zh) * | 2018-07-20 | 2018-12-28 | 浪潮电子信息产业股份有限公司 | 一种数据存储方法与终端 |
CN112988081A (zh) * | 2021-05-17 | 2021-06-18 | 浙江正泰仪器仪表有限责任公司 | 一种电量数据存储、抄读方法 |
CN112988081B (zh) * | 2021-05-17 | 2021-08-17 | 浙江正泰仪器仪表有限责任公司 | 一种电量数据存储、抄读方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2015055033A1 (zh) | 2015-04-23 |
CN103593260B (zh) | 2016-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103593260A (zh) | 一种元数据的保护方法和装置 | |
CN103793182B (zh) | 用于可扩展存储保护的系统和方法 | |
US10353614B2 (en) | Raid system and method based on solid-state storage medium | |
CN101047010B (zh) | 用于最大化raid系统中受保护数据量的方法和系统 | |
US7093069B2 (en) | Integration of a RAID controller with a disk drive module | |
US9158675B2 (en) | Architecture for storage of data on NAND flash memory | |
CN103513942B (zh) | 独立冗余磁盘阵列的重构方法及装置 | |
CN103718162A (zh) | 用于ssd中灵活的raid的方法和设备 | |
EP2382542A2 (en) | Improved error correction in a solid state disk | |
CN104484251A (zh) | 一种硬盘故障的处理方法及装置 | |
CN103336727B (zh) | 对nand闪存存储设备进行数据操作的方法 | |
US20150089328A1 (en) | Flex Erasure Coding of Controllers of Primary Hard Disk Drives Controller | |
CN104536698A (zh) | 一种基于raid的磁盘重构方法及相关设备 | |
CN101866307A (zh) | 一种基于镜像技术的数据存储方法及装置 | |
CN103049400A (zh) | 一种磁盘重构方法及其装置 | |
CN102177496A (zh) | 用于针对当前数据和回放数据在不同raid数据存储类型之间转移数据的系统和方法 | |
CN102135862B (zh) | 一种磁盘存储系统及其数据访问方法 | |
CN103678025B (zh) | 一种磁盘阵列中的磁盘故障处理方法 | |
CN115562594B (zh) | 一种raid卡的构建方法、系统及相关装置 | |
CN108228382A (zh) | 一种针对evenodd码单盘故障的数据恢复方法 | |
CN101251812A (zh) | 一种应用于集群系统数据容错的方法 | |
CN102226892A (zh) | 一种磁盘容错处理方法及设备 | |
CN105630417B (zh) | 一种raid5系统及在raid5系统失效后继续写数据的方法 | |
CN104516679A (zh) | 一种raid数据处理方法及装置 | |
Pâris et al. | Three-dimensional redundancy codes for archival storage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |