CN114115729B - 一种raid下的高效数据迁移方法 - Google Patents
一种raid下的高效数据迁移方法 Download PDFInfo
- Publication number
- CN114115729B CN114115729B CN202111272871.5A CN202111272871A CN114115729B CN 114115729 B CN114115729 B CN 114115729B CN 202111272871 A CN202111272871 A CN 202111272871A CN 114115729 B CN114115729 B CN 114115729B
- Authority
- CN
- China
- Prior art keywords
- data
- stripe
- check
- migration
- data migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种RAID下的高效数据迁移方法,针对RAID0,RAID1,RAID5,RAID6分别做了规划,其中数据迁移部分使用统一的调度方案,对于硬件和固件而言简单有效,且能保证负载均衡。数据迁移后在RAID5,6中需要进行校验更新,此时针对调度方案所提供的更新算法无需对所有的数据进行运算,针对不同的场景,给出了最简数据更新运算方法,能够有效减少运算,提高数据迁移的效率。
Description
技术领域
本发明涉及电子数字数据处理领域,尤其是一种RAID下的高效数据迁移方法。
背景技术
伴随着通讯技术和网络科技的迅速发展,数字化信息呈指数爆炸式增长,数据存储技术也因此迎来了巨大的挑战。存储系统中数据的可靠性问题以及存储系统的能耗问题越来越被人们所关注。现如今面对如此庞大的数据规模,存储系统中数据的可靠性和存储系统中包含的组件数量成反比关系,即存储系统组件数越多,那么存储系统中数据的可靠性就越低。根据相关调查显示,在一个由600个磁盘构成的互联网数据中心中,每月大约会有30个磁盘出现损坏的情况,在大规模存储系统中,磁盘故障造成的数据可靠性下降是相当严重的问题,对此人们展开了相关容错技术的研究。
在1988年,加州大学伯克利分校的D.A.Patterson等教授提出的RAID结构成为了提升存储空间的一个关键技术,RAID(Redundant Arrays of Independent Disks)即具有冗余能力的磁盘阵列,磁盘阵列是通过将多个独立磁盘组合一起,从而得到一个容量巨大的磁盘组。采用RAID存储技术,可以大大提高存储容量,提高系统输入输出的请求处理能力并且通过数据的分布式存储技术,并行访问手段和信息冗余技术提高数据的可靠性。
其中,公开号为US09465560B2的专利文件提供了包括一组数据库的分布式RAID系统。更具体地说,在分布式RAID系统的某些实施例中,每个数据库具有一组关联的存储介质并执行类似的分布式RAID应用。每个数据库上的分布式RAID应用程序在它们之间进行协调,以便与存储在数据库的相关联的存储介质上的卷相结合地分发和控制与实现RAID级别相关联的数据流。可以实现将该卷或其一部分从一个配置迁移到另一个配置,使得可以根据该第二配置来存储卷或其部分以及对应的冗余数据。但是这样的分配方式并没有针对其不同应用场景做适应性的修改,适应性较差。
发明内容
有鉴于此,本发明的目的在于提出一种RAID下的高效数据迁移方法,用以针对调度方案所提供的更新算法,对不同的场景设计数据更新运算方法,能够有效减少运算,提高数据迁移的效率。
基于上述目的,本发明提供了一种RAID下的高效数据迁移方法,针对不同的场景下的数据迁移需求,基于RAID不同算法,进行分别优化运算,具体包括数据迁移有RAID0、RAID1、RAID5、RAID6,其中:RAID0的优化运算为对所有的数据按照负载均衡的需求进行排列,完成数据迁移;RAID1优化运算为镜像模式,对所有数据按照负载均衡的需求进行排列,所述排列在两块盘组同时进行,完成数据迁移;RAID5的优化运算为对所有的数据按照负载均衡的需求进行排列,完成数据迁移;RAID5还包括一个错误的恢复,利用现有的数据块,生成一个校验块P;进行编码时,对需要编码的数据分为n个块,每个数据块为dn,其关系表示为:
对已经完成数据迁移的RAID5,任一错误通过异或运算恢复得到,恢复包括数据(dn)和校验(p),具体为:在数据迁移RAID5的组内,所有数据通过相同的方式进行恢复,d0恢复为取出剩余存活的数据,对其进行异或运算:
RAID6的优化运算为对所有的数据按照负载均衡的需求进行排列,完成数据迁移;RAID6还包括完成两个错误的纠错恢复,并且当只错一个时可使用RAID5进行单一纠错来完成工作;具体为:为了完成一个错误的恢复,利用现有的数据块,生成一个校验块P;将需要编码的数据分为n个块,每个数据块为dn,生成校验位p、q,其关系表示为:
当上述任意一个或两个数据块(d,p和q)发生错误时,通过校验块p、q进行纠错。
在一些实施例中,所述方法包括
所述RAID0的方法包括:
a.寻找发生重叠的数据块,将其移入条带顺序空闲位置;
b.对于未重复但在不同条带位置的数据以较低的优先级,向上条带位置挪入,完成工作时对RAID0进行标记通知。
在一些实施例中,所述方法包括
所述RAID1的方法包括:在两块盘组同时进行以下操作
a.寻找发生重叠的数据块,将其移入条带顺序空闲位置;
b.对于未重复但在不同条带位置的数据以较低的优先级,向上条带位置挪入,完成工作时对RAID1进行标记通知。
在一些实施例中,方法还包括
对于RAID5当涉及数据迁移的需求下,根据不同场景定义不同的校验的运算变化;场景分为所有数据被移入同一个条带、无法移入同一个条带两类进行操作,
a.所有条带被移入同一个条带,插入一块新磁盘,上方条带校验位p1的空闲数据位足够放下下方条带校验位p2的数据,则将其对应的顺序移入上方条带的空闲位置,完成数据迁移;数据迁移后的校验位p1更新为p1’,取出下放条带对应的校验数据,与被并入的条带校验进行异或运算,其运算为:
b.对于数据无法完全并入条带的情况,当上条带涉及的数据对应的校验位P1,下条带对校验位P2时,新插入一块磁盘,选择是否进行数据迁移,若进行数据迁移,按照顺序选择需要并入的数据块;D3表示任一数据、D4表示任一数据,将D3,D4并入上条带中的空闲位置,数据进行迁移时读取数据,然后写入新的位置,在读取的同时,用XOR模块对校验位P1和P2分别进行更新,记为P1’和P2’
在一些实施例中,方法还包括
RAID6完成两个错误的纠错恢复,并且当只错一个时使用RAID5进行单一纠错来完成工作;具体为:利用现有的数据块,生成一个校验块P;
当进行编码时,将需要编码的数据分为n个块,每个数据块命名为dn,所生成的校验位p和q的情况下,其关系表示为:
当上述任意一个或两个数据块d,p和q发生错误时,RAID 6通过两个校验块p、q进行纠错。
在一些实施例中,方法还包括
当RAID6涉及数据迁移的需求下,根据不同的场景定义不同的校验的运算变化,所述场景分为所有数据被移入同一个条带、无法移入同一个条带两类进行操作:
a.所有条带可以被移入同一个条带的情况下,校验位(P,Q)落在不同数据盘上,当发生新增磁盘,发生数据迁移时,进行如下操作:
首先、记录数据盘校验位(P,Q)对应的位置信息,下条带的数据全部被移入上条带,下条带的校验码直接删除;选择数据依次移入上条带的空闲位置;上条带进行编码的更新记为P1’和Q1’;de记录的参数中对应在校验所在位置的参数;记录两个de P1’和Q1’的分子加法部分分别采用移位所在位置的位置信息,P1和Q1原本的位置信息做和,然后与对应的移入信息进行乘法;
b.所有条带无法被移入同一个条带的情况,进行满足负载均衡的数据迁移行为,
按照顺序选择可移位信息将其移入新增位置,同时更新上方条带和下方条带对应的校验数据,操作方式同步骤a,记录两个de,分别表示为de1和de2,然后分别对其所对应的校验P和Q做更新,更新方法与上述相同。
在一些实施例中,方法还包括
对于新增盘位大于移入信息数量的情况,运算方式依照步骤b所述进行移入和P,Q的值更新运算。
在一些实施例中,方法还包括
RAID6采用范德蒙算法。
本发明的又一方面,还提供了一种计算机可读存储介质,存储有计算机程序指令,该计算机程序指令被执行时实现上述任意一项方法。
本发明的再一方面,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该计算机程序被处理器执行时执行上述任意一项方法。
本发明至少具有以下有益技术效果:
1.本发明通过针对RAID0、RAID1、RAID5、RAID6所适用的场景、需求分别做了规划,数据迁移部分使用统一的调度方案,对于硬件和固件而言简单有效,且保证负载均衡;
2.本发明针对调度方案所提供的更新算法无需对所有的数据进行运算,针对不同的场景,设计数据更新运算方法,使用以上算法对数据迁移后在RAID5、RAID6中的数据进行校验更新,能够有效减少运算,提高数据迁移的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本申请实施例中RAID0时的数据迁移流程图;
图2为本申请实施例中RAID1时的数据迁移流程图;
图3为本申请实施例中RAID5条带数据可完全并入某一条带时的数据迁移流程图;
图4为本申请实施例中RAID5条带数据可完全并入某一条带时的数据迁移流程图2;
图5为本申请实施例中RAID5条带数据不可完全并入某一条带时的数据迁移流程图;
图6为本申请实施例中RAID6条带数据可完全并入某一条带时的数据迁移流程图;
图7为本申请实施例中RAID6条带数据可完全并入某一条带时的数据迁移流程图2;
图8为本申请实施例中RAID6条带数据不可完全并入某一条带时的数据迁移流程图;
图9为根据本发明实施例提供的RAID下的高效数据迁移方法的计算机可读存储介质的示意图;
图10为根据本发明实施例提供的RAID下的高效数据迁移方法的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
RAID的设计思想被提出之后,RAID技术作为高性能、高可靠的存储技术,目前已经在人们的生产和生活中得到了极其广泛的应用。RAID主要利用数据条带、数据校验和镜像技术来获得较强的性能、更高的可靠性、较好的容错能力和较强的扩展性。根据不同的数据应用需求,可以运用或者组合运用这三种技术的策略和架构,所以按照不同的策略和架构,RAID可以被分为不同的等级:RAID 0,1,5,6,10。
其中,RAID 0是最早出现的RAID模式,即Data Stripping数据分条技术。RAID 0是组建磁盘阵列中最简单的一种形式,只需要2块以上的硬盘即可,成本低,可以提高整个磁盘的性能和吞吐量。RAID 0没有提供冗余或错误修复能力,但实现成本是最低的。
RAID 0最简单的实现方式就是把N块同样的硬盘用硬件的形式通过智能磁盘控制器或用操作系统中的磁盘驱动程序以软件的方式串联在一起创建一个大的卷集。在使用中电脑数据依次写入到各块硬盘中,它的最大优点就是可以整倍的提高硬盘的容量。如使用了三块80GB的硬盘组建成RAID 0模式,那么磁盘容量就会是240GB。其速度方面,和单独一块硬盘的速度完全相同。
RAID 1称为磁盘镜像,原理是把一个磁盘的数据镜像到另一个磁盘上,也就是说数据在写入一块磁盘的同时,会在另一块闲置的磁盘上生成镜像文件,在不影响性能情况下最大限度的保证系统的可靠性和可修复性上,只要系统中任何一对镜像盘中至少有一块磁盘可以使用,甚至可以在一半数量的硬盘出现问题时系统都可以正常运行,当一块硬盘失效时,系统会忽略该硬盘,转而使用剩余的镜像盘读写数据,具备很好的磁盘冗余能力。虽然这样对数据来讲绝对安全,但是成本也会明显增加,磁盘利用率为50%,以四块80GB容量的硬盘来讲,可利用的磁盘空间仅为160GB。另外,出现硬盘故障的RAID系统不再可靠,应当及时的更换损坏的硬盘,否则剩余的镜像盘也出现问题,那么整个系统就会崩溃。更换新盘后原有数据会需要很长时间同步镜像,外界对数据的访问不会受到影响,只是这时整个系统的性能有所下降。
RAID 5(分布式奇偶校验的独立磁盘结构)。它的奇偶校验码存在于所有磁盘上,其中的p0代表第0带区的奇偶校验值,其它的意思也相同。RAID 5的读出效率很高,写入效率一般,块式的集体访问效率不错。因为奇偶校验码在不同的磁盘上,所以提高了可靠性。但是它对数据传输的并行性解决不好,而且控制器的设计也相当困难。对于RAID 5来说,大部分数据传输只对一块磁盘操作,可进行并行操作。在RAID 5中有“写损失”,即每一次写操作,将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的数据及奇偶信息。
RAID 6是带两种分布存储的奇偶校验码独立磁盘结构。它是对RAID 5的扩展,主要是用于要求数据绝对不能出错的场合。由于引入了第二种奇偶校验值,所以需要N+2个磁盘,同时对控制器的设计变得十分复杂,进一步提升了磁盘阵列的数据可靠性。需要更多的空间来存储校验值,同时在写操作中具有更高的性能损失。
RAID技术在当今分布式存储服务器中得到了广泛的应用,RAID 5和6可以分别恢复一个或两个的错误块,但是每次数据恢复,依然受限于各个盘大量数据读取时的速度限制。
基于上述目的,本发明实施例的第一个方面,提出了一种RAID下的高效数据迁移方法的实施例。
完成组盘的分布式存储服务器,可能涉及的数据迁移有RAID0,RAID01,RAID05,RAID06四种情况,一般发生数据迁移的情况,都会伴随增盘的主动诉求。但基于上面的背景介绍已知各个RAID算法的作用及原理,因此不同的RAID算法的数据迁移方案为:
1.RAID0对数据按位排列,数据迁移需按照需求,将对应的数据进行迁移。
如图1所示,以两个条带分别数据D0~D3,和D4~D5,排列有一定交叉举例,RAID0是一种直接排列的RAID算法,对所有的数据需要按照负载均衡的需求进行排列,不进行校验,发生数据丢失也无法恢复。因此此时所做的数据迁移方案为:
a.寻找发生重叠的数据块,在本例即是D4,D4与D3发生了重叠,因此标记D4,将其移入条带顺序空闲位置。在此例中,因为新增了一块盘,按照条带顺序空闲位置即为图1中所述的新增位置;
b.对于未重复但在不同条带位置的数据以较低的优先级,向上(条带位置)挪入,此时的挪入因为不涉及盘上的负载均衡需求,所以可以使用静默状态工作,以较低负载工作,完成工作时对RAID0进行标记通知。
2.RAID1使用复制(镜像)模式,每一个数据在RAID1模式下都存在一个复制(镜像),因此,任一错误都可通过复制的数据进行恢复。其涉及的数据迁移方法如图2所示:
在两块盘组同时进行以下操作
a.寻找发生重叠的数据块,将其移入条带顺序空闲位置;
b.对于未重复但在不同条带位置的数据以较低的优先级,向上条带位置挪入,完成工作时对RAID1进行标记通知。RAID1的数据迁移方案类似RAID0,因为RAID1相比于RAID0只是将所有的数据复制(镜像)了一遍,需要注意的是,所有的盘数量必须是偶数,亦即是当发生增盘时,为了保证RAID1,必须也增加偶数个盘,否则将破坏原有的RAID1,变为其他RAID组。
3.RAID5可完成一个错误的纠错恢复,为了完成一个错误的恢复,需要利用现有的数据块,生成一个校验块P。进行编码时,设需要编码的数据分为n个块,每个数据块命名为dn,则其关系表示为:
则此时对于已经完成编码的RAID5,任意一个错误通过异或运算恢复得到,此时的恢复包括数据(dn)和校验(p),即是在完成了RAID5的组内,
所有数据皆可通过相同的方式进行恢复,以上述d0错误需要恢复为例,对其进行异或运算即可:
如上可知,当RAID5涉及数据迁移的需求下,为了负载均衡改变数据的位置,还会导致可能的校验值变化,因此方案需要根据不同的场景定义不同的校验的运算变化。
场景可以分为所有数据被移入同一个条带、无法移入同一个条带两类进行操作:
a.所有条带可以被移入同一个条带,这种情况说中,因为增加磁盘或是其他操作的需求,所产生的数据需要迁移以保证负载均衡下,有一到多个条带的数据可以被完全并入某一个条带中的情况。
如图3可知当下方条带数据为D3、D4,通过插入一块新磁盘,此时的数据条带可以并入上方条带,亦即是上方条带的空闲数据位足够放下下方条带的数据,则此时对于数据的操作如a所示,将其对应的顺序移入上方条带的空闲位置即可。
此时数据迁移后的校验位p1更新为p1’,而p1’无需重新进行运算,只需取出下放条带对应的校验数据,与被并入的条带校验进行异或运算:
这样的迁移方式,可以降低迁移后的运算复杂度。
对于条带内空闲位置大于可并入数据块的情况,使用本发明方法依然可行,其中校验的更新方式完全相同,对于数据并入的方式采用顺序即可,这样的方法对于硬件调度更为简单,且能保证复杂平衡,举例说明如下:
如图4可知,对于这类情况,本发明依然顺序排列数据,达到负载均衡,空余的磁盘可暂时空余,也可留于其他的运算操作。
而对于数据无法完全并入条带的情况,执行如下操作:
b.所有条带无法被移入同一个条带,这种情况说中,因为增加磁盘或是其他操作的需求,所产生的数据需要迁移以保证负载均衡下,有一到多个条带的数据可以被并入某一个条带中,而剩余条带信息无法被并入只能保留在原始条带的情况。以图5举例说明
如图5所示,设上条带涉及的数据为D0,D1,D2对应的校验位P1,下条带涉及数据为D3,D4,D5对应条带为P2时,插入新磁盘,选择是否进行数据迁移,若进行数据迁移,无论向上条带并入一个数据或是两个数据(满空闲位情况),则都使用本发明的这种处理方案进行运算:
此时按照顺序选择需要并入的数据块,以图5为例,则是D3,D4。
对于数据的操作,即是将D3,D4并入上条带中的空闲位置。
而对于校验的更新,则不同于另一种情况,所使用的算法为:
此时对应硬件的操作,因为D3,D4的数据进行迁移的时候,本身需要读取,然后写入新的位置,在读取时,同时分别用XOR模块对校验P1和P2分别进行更新。
4.RAID6可完成两个错误的纠错恢复,并且当只错一个时可以使用RAID5进行简单的单一纠错来完成工作。为了完成一个错误的恢复,需要利用现有的数据块,生成一个校验块,一般命名为P。当进行编码时,设需要编码的数据分为n个块,每个数据块命名为dn,所生成的校验位p和q的情况下,其关系表示为:
通过上式的设置,RAID 6可以通过两个校验块:p和q。当上述任意一个或两个数据块(d,p和q)发生错误时,都可进行纠错。
如上可知,对于RAID6当涉及数据迁移的需求下,为了负载均衡改变数据的位置,还会导致可能的校验值变化,因此方案需要根据不同的场景定义不同的校验的运算变化。场景可以分为所有数据被移入同一个条带和无法移入同一个条带两类进行操作:
a.所有条带可以被移入同一个条带,这种情况说中因为增加磁盘或是其他操作的需求,所产生的数据需要迁移以保证负载均衡下,有一到多个条带的数据可以被完全并入某一个条带中的情况。
如图6所示,为了负载均衡校验(P,Q)设于不同数据上,使其对数据盘的访问做到平衡,而当插入新增磁盘,发生数据迁移时,为得到负载均衡的数据落盘,以及可以用的RAID6的新生成的P和Q,进行如下操作:
首先记录盘位对应的位置信息,RAID6采用的是范德蒙算法,所以举例其参数记录为1,2,3,4,5,6,7。
下条带的数据将全部被移入上条带,因此,此时下条带的校验码可以直接删除。
为了负载均衡,移入的方法如图6所示,选择数据依次移入上条带的空闲位置。因移入了新的数据信息,上条带为维持RAID6需进行编码的更新,更新方式如公式所示
所述de是分母因子,在此例中,P1对应4,Q1对应5,因此其de被计算为4+5=9
得到de后,将其设为分母,设置方式如公式6中的P1’和Q1’所示。
对于新增盘位大于移入信息数量的情况,运算方式和上述完全相同,为了保证负载均衡,并保证运算的简化,依照上述方法进行移入和P,Q的值更新运算即可。举例说明如图7所示:
而对于数据无法完全并入条带的情况,执行以下操作:
b.所有条带无法被移入同一个条带,这种情况说中因为增加磁盘或是其他操作的需求,所产生的数据需要迁移以保证负载均衡下,有一到多个条带的数据可以被并入某一个条带中,而剩余条带信息无法被并入只能保留在原始条带的情况。
以图8举例说明,如图8所示,完成RAID6编码的情况如之前举例的RAID6一致,但是如果此时插入的新增磁盘只有一块,则明显下方条带的信息无法完全并入上方条带,此时因主诉或其他原因导致发生了需要进行满足负载均衡的数据迁移行为,则采取的方式如上表示所述。
首先按照顺序选择可以移位的信息将其移入新增位置,如图中则是选择D3将其移入新增的6号位置的磁盘位。
因为此时的下方条带依然存在数据信息,因此上方和下方条带对应的校验数据都需要更新,更新方式如下所示:
操作方式与上述步骤a中的运算类似,因为涉及上方和下方条带的更新,因此需要记录两个de,分别表示为de1和de2,然后分别对其所对应的校验P和Q做更新,更新方法与上述相同。
以上即是本发明针对RAID0,1,5,6四种常见的RAID模式下的增盘或主诉数据迁移方案,通过描述可知,针对不同的RAID情况,所涉及的数据迁移运算也不同。使用本发明,可以基于运算的区别,对数据调度的逻辑尽量简单。数据调度后,本发明对校验更新的方法使其涉及的运算尽量的少,具有高速,低运算复杂度的优势。
本发明实施例的第三个方面,还提供了一种计算机可读存储介质,图9示出了根据本发明实施例提供的实现资源监控方法的计算机可读存储介质的示意图。如图9所示,计算机可读存储介质3存储有计算机程序指令31,该计算机程序指令31可以被处理器执行。该计算机程序指令31被执行时实现上述任意一项实施例的方法。
应当理解,在相互不冲突的情况下,以上针对根据本发明的资源监控方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的资源监控系统和存储介质。
本发明实施例的第四个方面,还提供了一种计算机设备,包括存储器402和处理器401,该存储器中存储有计算机程序,该计算机程序被该处理器执行时实现上述任意一项实施例的方法。
如图10所示,为本发明提供的执行资源监控方法的计算机设备的一个实施例的硬件结构示意图。以如图10所示的计算机设备为例,在该计算机设备中包括一个处理器401以及一个存储器402,并还可以包括:输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接,图4中以通过总线连接为例。输入装置403可接收输入的数字或字符信息,以及产生与资源监控系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的资源监控方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储资源监控方法的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的资源监控方法。
最后需要说明的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM),该RAM可以充当外部高速缓存存储器。作为例子而非限制性的,RAM可以以多种形式获得,比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器,但是可替换地,处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (8)
1.一种RAID下的高效数据迁移方法,其特征在于,针对不同的场景下的数据迁移需求,基于RAID不同算法,进行分别优化运算,具体包括的数据迁移有RAID0、RAID1、RAID5、RAID6,其中:RAID0的优化运算为对所有的数据按照负载均衡的需求进行排列,完成数据迁移;RAID1优化运算为镜像模式,对所有数据按照负载均衡的需求进行排列,所述排列在两块盘组同时进行,完成数据迁移;RAID5的优化运算为对所有的数据按照负载均衡的需求进行排列,完成数据迁移;RAID5还包括一个错误的恢复,利用现有的数据块,生成一个校验块P;进行编码时,对需要编码的数据分为n个块,每个数据块为dn,其关系表示为:
对已经完成数据迁移的RAID5,任一错误通过异或运算恢复得到,恢复包括数据(dn)和校验(p),具体为:在数据迁移RAID5的组内,所有数据通过相同的方式进行恢复,d0恢复为取出剩余存活的数据,对其进行异或运算:
RAID6的优化运算为对所有的数据按照负载均衡的需求进行排列,完成数据迁移;RAID6还包括完成两个错误的纠错恢复,并且当只错一个时可使用RAID5进行单一纠错来完成工作;
具体为:为了完成一个错误的恢复,利用现有的数据块,生成一个校验块P;将需要编码的数据分为n个块,每个数据块为dn,生成校验位p、q,其关系表示为:
当上述任意一个或两个数据块(d,p和q)发生错误时,通过校验块p、q进行纠错;
对于RAID5当涉及数据迁移的需求下,根据不同场景定义不同的校验的运算变化;场景分为所有数据被移入同一个条带、无法移入同一个条带两类进行操作,
a.所有条带被移入同一个条带,插入一块新磁盘,上方条带校验位p1的空闲数据位足够放下下方条带校验位p2的数据,则将其对应的顺序移入上方条带的空闲位置,完成数据迁移;数据迁移后的校验位p1更新为p1’,取出下放条带对应的校验数据,与被并入的条带校验进行异或运算,其运算为:
b.对于数据无法完全并入条带的情况,当上条带涉及的数据对应的校验位P1,下条带对校验位P2时,新插入一块磁盘,选择是否进行数据迁移,若进行数据迁移,按照顺序选择需要并入的数据块;D3表示任一数据、D4表示任一数据,将D3,D4并入上条带中的空闲位置,数据进行迁移时读取数据,然后写入新的位置,在读取的同时,用XOR模块对校验位P1和P2分别进行更新,记为P1’和P2’
当RAID6涉及数据迁移的需求下,根据不同的场景定义不同的校验的运算变化,所述场景分为所有数据被移入同一个条带、无法移入同一个条带两类进行操作:
a.所有条带可以被移入同一个条带的情况下,校验位(P,Q)落在不同数据盘上,当发生新增磁盘,发生数据迁移时,进行如下操作:
首先、记录数据盘校验位(P,Q)对应的位置信息,下条带的数据全部被移入上条带,下条带的校验码直接删除;选择数据依次移入上条带的空闲位置;上条带进行编码的更新记为P1’和Q1’;de记录的参数中对应在校验所在位置的参数;记录两个de P1’和Q1’的分子加法部分分别采用移位所在位置的位置信息,P1和Q1原本的位置信息做和,然后与对应的移入信息进行乘法;
b.所有条带无法被移入同一个条带的情况,进行满足负载均衡的数据迁移行为,
按照顺序选择可移位信息将其移入新增位置,同时更新上方条带和下方条带对应的校验数据,操作方式同步骤a,记录两个de,分别表示为de1和de2,然后分别对其所对应的校验P和Q做更新,更新方法与上述相同。
2.根据权利要求1所述的一种RAID下的高效数据迁移方法,其特征在于,所述RAID0的方法包括:
a.寻找发生重叠的数据块,将其移入条带顺序空闲位置;
b.对于未重叠但在不同条带位置的数据以较低的优先级,向上条带位置挪入,完成工作时对RAID0进行标记通知。
3.根据权利要求1所述的一种RAID下的高效数据迁移方法,其特征在于,所述RAID1的方法包括:在两块盘组同时进行以下操作
a.寻找发生重叠的数据块,将其移入条带顺序空闲位置;
b.对于未重叠但在不同条带位置的数据以较低的优先级,向上条带位置挪入,完成工作时对RAID1进行标记通知。
4.根据权利要求1所述的一种RAID下的高效数据迁移方法,其特征在于,RAID6完成两个错误的纠错恢复,并且当只错一个时使用RAID5进行单一纠错来完成工作;具体为:利用现有的数据块,生成一个校验块P;
当进行编码时,将需要编码的数据分为n个块,每个数据块命名为dn,所生成的校验位p和q的情况下,其关系表示为:
当上述任意一个或两个数据块d,p和q发生错误时,RAID 6通过两个校验块p、q进行纠错。
5.根据权利要求1所述的一种RAID下的高效数据迁移方法,其特征在于,对于新增盘位大于移入信息数量的情况,运算方式依照步骤b所述进行移入和P,Q的值更新运算。
6.根据权利要求1所述的一种RAID下的高效数据迁移方法,其特征在于,RAID6采用范德蒙算法。
7.一种计算机可读存储介质,其特征在于,存储有计算机程序指令,所述计算机程序指令被执行时实现如权利要求1-6任意一项所述的方法。
8.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时执行如权利要求1-6任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111272871.5A CN114115729B (zh) | 2021-10-29 | 2021-10-29 | 一种raid下的高效数据迁移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111272871.5A CN114115729B (zh) | 2021-10-29 | 2021-10-29 | 一种raid下的高效数据迁移方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114115729A CN114115729A (zh) | 2022-03-01 |
CN114115729B true CN114115729B (zh) | 2023-07-21 |
Family
ID=80379508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111272871.5A Active CN114115729B (zh) | 2021-10-29 | 2021-10-29 | 一种raid下的高效数据迁移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114115729B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114415983B (zh) * | 2022-03-30 | 2022-06-07 | 苏州浪潮智能科技有限公司 | 一种raid编解码方法、装置、设备及可读存储介质 |
CN114816278B (zh) * | 2022-06-30 | 2022-11-11 | 苏州浪潮智能科技有限公司 | 一种存储服务器的数据迁移方法、系统、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881372A (zh) * | 2015-05-31 | 2015-09-02 | 上海交通大学 | 一种提高raid-6可扩展性的数据迁移方法 |
CN112799604A (zh) * | 2021-03-18 | 2021-05-14 | 河北工业大学 | 一种基于N-Code的RAID6磁盘阵列扩容方法及数据填充方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7206991B2 (en) * | 2003-10-15 | 2007-04-17 | Lsi Logic Corporation | Method, apparatus and program for migrating between striped storage and parity striped storage |
-
2021
- 2021-10-29 CN CN202111272871.5A patent/CN114115729B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881372A (zh) * | 2015-05-31 | 2015-09-02 | 上海交通大学 | 一种提高raid-6可扩展性的数据迁移方法 |
CN112799604A (zh) * | 2021-03-18 | 2021-05-14 | 河北工业大学 | 一种基于N-Code的RAID6磁盘阵列扩容方法及数据填充方法 |
Non-Patent Citations (1)
Title |
---|
一种新的RAID-4容量扩展布局研究;谢平;;小型微型计算机系统(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114115729A (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9063910B1 (en) | Data recovery after triple disk failure | |
US20180307560A1 (en) | Storing data in a distributed storage system | |
CN103577274B (zh) | 管理存储器阵列的方法和装置 | |
CN114115729B (zh) | 一种raid下的高效数据迁移方法 | |
Greenan et al. | Flat XOR-based erasure codes in storage systems: Constructions, efficient recovery, and tradeoffs | |
CN104503706B (zh) | 一种基于磁盘阵列的数据存储及读取方法 | |
CN115080303B (zh) | Raid6磁盘阵列的编码方法、解码方法、装置及介质 | |
CN114090345B (zh) | 一种磁盘阵列数据恢复方法、系统、存储介质及设备 | |
CN109814807B (zh) | 一种数据存储方法及装置 | |
JP2009514056A (ja) | データ・ストレージ・アレイ | |
CN101546249A (zh) | 磁盘阵列在线容量扩展方法 | |
CN114610244A (zh) | 一种独立冗余磁盘阵列降级方法、系统及设备 | |
CN114610525A (zh) | 一种用于磁盘阵列的数据更新方法、系统及存储介质 | |
CN105808170B (zh) | 一种能够修复单磁盘错误的raid6编码方法 | |
US20120198195A1 (en) | Data storage system and method | |
CN102184079B (zh) | 一种raid5级别磁盘阵列的写性能优化方法 | |
CN102520890A (zh) | 基于gpu的rs-draid系统及存储设备数据控制方法 | |
CN114816837B (zh) | 一种纠删码融合方法、系统、电子设备及存储介质 | |
CN114756402A (zh) | Raid组更新数据时保障数据安全的方法、系统、设备及介质 | |
CN114546272A (zh) | 快速通用的raid降级为raid5的方法、系统、设备和存储介质 | |
JP6260193B2 (ja) | ストレージシステム、及びストレージプログラム | |
CN110600070B (zh) | 一种提升固态硬盘阵列系统修复性能的编码和修复方法 | |
CN116501553B (zh) | 数据恢复方法、装置、系统、电子设备及存储介质 | |
CN110268397B (zh) | 应用于数据仓库系统的高效优化数据布局方法 | |
CN115167787B (zh) | 一种数据转存方法、系统、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |