CN108717383A - 一种更新校验块的方法和设备 - Google Patents
一种更新校验块的方法和设备 Download PDFInfo
- Publication number
- CN108717383A CN108717383A CN201810296834.XA CN201810296834A CN108717383A CN 108717383 A CN108717383 A CN 108717383A CN 201810296834 A CN201810296834 A CN 201810296834A CN 108717383 A CN108717383 A CN 108717383A
- Authority
- CN
- China
- Prior art keywords
- data
- items
- data volume
- storage systems
- write request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
- G06F11/1048—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using arrangements adapted for a specific error detection or correction feature
Abstract
本发明实施例公开了一种更新校验块的方法和设备,其中方法的实现包括:纠删码(EC,Erasure Code)存储系统接收涉及一EC条带的写请求;所述EC存储系统根据所述写请求在所述EC条带上所涉及的数据范围,选择重构写方式或读改写方式更新所述EC条带上的校验块。使用本发明实施例公开的技术方案,系统可以选择更优的更新校验块的方式。
Description
技术领域
本发明涉及数据存储技术领域,特别涉及一种更新校验块的方法和设备。
背景技术
现阶段的分布式存储系统越来越多的采用纠删码(EC,Erasure Code)技术对数据进行存储。纠删码技术是一种数据容错技术,通过对数据编解码来提供冗余能力,可容忍一定数量的存储节点故障。纠删码技术的原理是将数据进行分割成m个数据块,并且采用冗余算法对m个数据块进行校验编码,生成n个校验块,该m个数据块与n个校验块组成一个EC条带(stripe),如图1所示。需要说明的是,块是指在一个存储实例中地址连续的数据段;系统中的数据块的数量通常比校验块的数量多,即m一般大于n。
该图1所示的纠删码存储系统通常称为配比为m+n的纠删码存储系统,该系统中的每个EC条带能容忍n个块(数据块或校验块、也可以是数据块和校验块的组合)的丢失。当一个EC条带中有k个块(k不超过n)发生故障(如这k个块所在的k个存储节点发生故障),可以读取剩余的m+n-k个块,然后通过纠删码的解码技术恢复出丢失的块。
纠删码技术虽然可以提高存储系统的空间利用率,但也会增加CPU和网络带宽的消耗。
发明内容
本发明实施例提供了一种更新校验块的方法和设备,提高了存储系统的效率。
本发明实施例提供了一种更新校验块的方法,包括:
纠删码(EC,Erasure Code)存储系统接收涉及一EC条带的写请求;
所述EC存储系统根据所述写请求在所述EC条带上所涉及的数据范围,选择重构写方式或读改写方式更新所述EC条带上的校验块。
本发明实施例还提供了一种更新校验块的设备,所述设备包括:
接收单元,用于接收涉及一EC条带的写请求;
更新单元,用于根据所述写请求在所述EC条带上所涉及的数据范围,选择重构写方式或读改写方式更新所述EC条带上的校验块。
本发明实施例提供的一种纠删码(EC,Erasure Code)存储系统,至少一EC条带;
所述EC存储系统用于接收涉及所述EC条带的写请求;并根据所述写请求在所述EC条带上所涉及的数据范围,选择重构写方式或读改写方式更新所述EC条带上的校验块。
本发明实施例还提供包括至少一处理器和至少一存储器的更新校验块的设备,所述至少一个存储器用于存储计算机程序,所述至少一个处理器用于调用所述至少一个存储器中的程序代码来执行所述本发明实施例所记载的方法。
本发明实施例还提供一种计算机存储介质,所述计算机存储介质上储存为计算机软件指令,所述计算机软件指令运行后使计算机执行本发明实施例所记载的方法。
本发明实施例的技术方案,系统可以选择更优的更新校验块的方式。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中EC条带的逻辑示意图;
图2为本发明实施例一提供的更新校验块的逻辑示意图;
图3为本发明实施例未满条带写操作的逻辑示意图;
图4-6为本发明实施例二提供的更新校验块的逻辑示意图;
图7-8为本发明实施例提供的设备的逻辑结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例一提供了一种更新校验块的技术方案。在本技术方案中,纠删码存储系统接收到写请求后,在执行数据写入操作时需要更新校验信息,即更新校验块。纠删码存储系统中更新校验块可以采用如下两种方式之一:重构写方式、或读改写方式。
以图1所示配比为m+n的纠删码存储系统为例,重构写方式更新校验块是根据EC条带中当前版本的m个数据块重新计算出n个校验块。即系统需要获得写操作所更新的数据块、和写请求不涉及的数据块(也称为老数据块),根据EC条带中的所有m个数据块重新计算出n个校验块。如图2所示,以写入操作涉及数据块1和数据块2为例,系统需要读取数据块1和数据块2的当前版本的数据,并读取其他数据块的老数据,计算出新的n个校验块。
读改写方式则是根据写请求所涉及的EC条带的数据块的当前版本的数据(即写操作完成后的数据)、和老数据计算出差量块,并根据差量块和校验块上的老数据计算新的校验块。仍以写入操作涉及数据块1和数据块2的图2为例,采用读改写方式需要获取数据块1和数据块2的老数据,比较数据库块1和数据块2的当前版本数据和老数据并获得差量块,然后通过差量块与n个校验块的老数据计算新的n个检验块。
如上所述,在配比为m+n的纠删码存储系统中,如写入操作涉及x个数据块,则以重构写方式更新校验块需要读取m-x个数据块的老数据;而以读改写方式更新校验块需要读取x个数据块和n个校验块即n+x个块的老数据。这说明重构写方式和读改写方式更新校验块需要读取的数据量不同。特别是在需要跨网络读取时,不同的数据量会影响系统的效率。因此为提高存储系统的效率,系统可以选择读取老数据最少的方式来更新校验块。如m-x小于x+n,则系统选择重构写方式更新校验块;而当m-x大于x+n,则系统选择读改写方式更新校验块;当m-x等于x+n,系统可以任意选择重构写方式或读改写方式更新校验块。
在实际业务中,写请求所涉及的数据范围可能不是EC条带中完整的数据块。如图3所示,写操作所涉及的数据范围位于数据块1的下部和数据块2的上部,并不占据整个数据块1和整个数据块2。如采用上面实施例一的方法来计算更新校验块时所需要读取的数据量,则整个数据块1和数据块2仍需要被计算到更新校验块时需要读取的数据量中。图3所示的场景下,所需要读取的数据量与图2所示相同。但显然图3所示的场景,写操作所涉及的数据范围比图2所示的场景要更少,因此上述实施例一的技术方案对数据量的计算较粗略、可能导致所选择的更新校验块的方式并不是最优的。
为此,本发明实施例二将EC条带进一步分为分条(Sub-Stripe)。系统根据写请求所涉及数据范围的数据分布信息(如起始地址和结束地址、或基于设定地址的起始偏移和结束偏移等),根据设定的规则将EC条带划分为分条。分条是用于在按照某种策略进行读操作时每个块应该读的最大范围;不属于分条范围内的数据无需读取。如图4所示的是写请求所涉及的数据范围在一个EC条带内、且写请求所涉及的数据范围小于一个数据块的例子,其中有一个分条1。
如图5所示的是写请求所涉及的数据范围在一个EC条带内、且写请求所涉及的数据范围大于一个数据块的例子,其中有一个分条1。
如图6所示的是写请求所涉及的数据范围在多个EC条带内的例子,其中有两个分条即分条1和分条2。
按照上面图4-6所示的方法将条带划分为分条后,针对写请求未覆盖整块、或写请求所覆盖范围不是对齐的满m块(或m的整数倍)的情形(通常称为未满条带写操作),可以只对分条的数据进行读写操作。
需要说明的是,分条和条带都是横向包含了多个切片的数据。两者的区别在于条带在EC系统中是固定大小的,分条则是根据写请求的边界切分得到。针对一个写请求,写入的数据经过条带化后的头尾偏移与条带块的上顶下底切割成的水平区域,连续则自然成为一个分条。EC块被分条切割后得到分段,如图4-6中的分条在每个数据块的部分,即为分条中的各个分段。EC块有数据块和校验块之分,相应地分段也可以分为数据段和校验段。
为描述方便,先对参数做如下定义:在存储系统的配比为m+n中,每个数据块或校验块的大小为B;写请求所涉及的数据量的长度为L;写请求所跨越的数据块数量为X。
在图4所示的例子中,系统可以只对分条的数据进行读写操作。该图4的场景下,L即为分条1的长度。如果采用重构写方式更新校验块,以重构写方式更新校验块需要读取m-1个数据段的老数据;而以读改写方式更新校验块需要读取1个数据段和n个校验段的老数据。即采用重构写方式更新校验块需要读取的老数据的数据量为L*(m-1),采用读改写方式更新校验块需要读取的老数据的数据量为L*(n+1)。
当L*(m-1)<L*(n+1)时,采用重构写方式更新校验块所需要读取的数据量少于采用读改写方式,则系统选择重构写方式更新校验块;
当L*(m-1)>L*(n+1)时,采用重构写方式更新校验块所需要读取的数据量大于采用读改写方式,则系统选择读改写方式更新校验块;
当L*(m-1)=L*(n+1)时,则系统可以选择重构写方式或读改写方式更新校验块;当然,该种情形下系统还可以进一步根据比较读取本地数据量的多少,选择读取本地数据量更多的方式更新校验块。
在图5所示的例子中,系统采用重构写方式更新校验块时,系统读取所有的数据块,因此需要读取的老数据的数据量为m*B-L;而采用读改写方式更新校验块时,系统需要读取的老数据为写操作所跨越的所有X个数据块以及n个校验块,即需要读取的老数据的数据量为(X+n)*B。
当m*B-L<(X+n)*B时,采用重构写方式更新校验块所需要读取的数据量少于采用读改写方式,则系统选择重构写方式更新校验块;
当m*B-L>(X+n)*B时,采用重构写方式更新校验块所需要读取的数据量大于采用读改写方式,则系统选择读改写方式更新校验块;
当m*B-L=(X+n)*B时,则系统可以选择重构写方式或读改写方式更新校验块;当然,该种情形下系统还可以进一步根据比较读取本地数据量的多少,选择读取本地数据量更多的方式更新校验块。
在如图6所示的写请求跨越多个EC条带的例子中,只有头条带和尾条带可能存在未满条带写入的情况,如图6中的分条1和分条2;中间的1个或多个EC条带均在写操作的数据范围内,即为满条带写入的EC条带(如图6中的条带N+1)。
显然满条带写入的EC条带如图6中的条带N+1,采用重构写方式更新校验块无需读取老数据,肯定比采用读改写方式更新校验块所需要读取的数据量更少。因此系统对于满条带写入的EC条带N+1直接采用重构写方式更新校验块。
而对于头条带如图6中的条带N、或尾条带如图6中的N+2,则按照图4或图5所示的方法,划分得到分条1和分条2。针对头条带N和尾条带N+2,系统根据相应的参数独立确定更新该条带上校验块的方式。需要说明的是,图6中的头条带N和尾条带N+2按照实际参数的情形的不同,可以对应到图4或图5所对应的一个EC条带上划分分条的情形。比如一旦系统确定图6中的头条带N划分成分条1后所对应的情形与图4的类似,即写请求在该条带N上所涉及的数据范围小于一个数据块,则按照上面图4所对应的方法计算更新该条带N上的校验块所需要读取的老数据的数据量,即重构写方式的数据量为L1*(m-1),读改写方式的数据量为L1*(n+1);其中L1为写请求在条带N上所涉及的数据量的长度。类似地,系统比较L1*(m-1)和L1*(n+1)来选择更新校验块的方式。如系统确定图6中的头条带N划分成分条1后所对应的情形与图5的类似,则上面图5所对应的方法来选择更新校验块的方式。针对尾条带N+2也是类似地,使用图4或图5所对应的方法来选择更新校验块的方式。
本发明上述实施例一和二通过比较重构写方式或读改写方式更新校验块的所需要读取老数据的数据量大小,来确定更新校验块的方式。当然,根据策略设置的不同,系统还可以比较不同方式更新校验块的所需要读取总数据的数据量大小,以此来确定更新校验块的方式。两个实施例的不同在于,实施例一是以数据块为基础计算数据量。而本发明实施例二则进一步将条带分为分条,根据写请求所涉及数据范围的数据分布信息来确定数据量;在未满条带写入的情况下,本发明实施例二对数据量的计算更准确、可以选择更优的更新校验块的方式。
在实际系统运行过程中,EC条带上的数据块可能存在故障;故障的数据块也会对更新校验块的方式选择产生影响。本发明实施例三是在数据块故障情形下确定更新校验块的方式。
情形1:在读操作之前存在故障、且故障仅发生在写请求不涉及的数据块上。
因重构写方式需要读取所有数据块的数据,而读改写方式只读取写请求涉及的数据块上的数据。因此针对情形1,系统选择读改写方式来更新校验块。进一步地,系统还可以进一步读取校验块的数据以用来恢复发生故障的数据块。
情形2:在读操作之前存在故障、且写请求涉及的数据块上有故障。
这种情形下,无论选择重构写方式还是读改写方式都会受到发生故障的数据块的影响。系统可以先比较两种方式下恢复故障数据块所需要读取的额外数据量,再结合本发明上述实施例一和实施例二所记载的更新校验块需要读取的老数据的数据量,综合判断重构写方式和读改写方式下所涉及读取数据量的大小,来选择更新校验块的方式。
情形3:在读操作过程中发生故障。
在该情形下,系统需要判断之前选择的操作方式是否影响,并根据判断的结果来确定是否需要切换更新校验块的方式。比如当前选择的重构写方式或读改写方式,因在读操作过程中发生了新故障,导致无论是重构写方式还是读改写方式都需要通过降级读操作来恢复因故障导致无法读出的数据,然后系统再直接按照重构写方式进行读操作,直接将剩余的所需数据块读出。
需要说明的是,本发明实施例仅列出了上述3种可能的故障情形。在实际系统运行过程中,可能存在其他可能的故障情形,都可以由系统先进行故障影响分析,再根据分析结果来确定是否需要切换更新校验块的方式,即是否需要由重构写方式切换到读改写方式,或者由读改写方式切换到重构写方式。上述故障影响分析的技术方案,还可以与本发明的上述实施例一和二结合起来执行。
本发明实施例提供了一种更新校验块的方法,包括:
纠删码(EC,Erasure Code)存储系统接收涉及一EC条带的写请求;
该EC存储系统根据上述写请求在上述EC条带上所涉及的数据范围,选择重构写方式或读改写方式更新上述EC条带上的校验块。
在本发明实施例中,EC存储系统通过比较不同方式所需要读取的数据量来选择更新校验块的方式;具体可以包括:
EC存储系统根据写请求在EC条带上所涉及的数据范围,计算采用重构写方式更新校验块需要读取的第一数据量;
EC存储系统根据写请求在EC条带上所涉及的数据范围,计算采用读改写方式更新校验块需要读取的第二数据量;
EC存储系统通过比较第一数据量和第二数据量来选择重构写方式或读改写方式。
EC存储系统通过可以通过本发明上述实施例一或实施例二的方式来计算第一数据量和第二数据量。
通过本发明上述实施例一来计算第一数据量和第二数据量,是以块为单位来计算数据量。具体到第一数据量,EC存储系统根据EC条带上的数据块的总数和写请求在所述EC条带上所涉及的数据块的数量来计算;而第二数据量,则由EC存储系统根据EC条带上的校验块的总数和写请求在所述EC条带上所涉及的数据块的数量来计算。
具体地、在配比为m+n的纠删码存储系统中,如写入操作涉及x个数据块,则以重构写方式更新校验块需要读取m-x个数据块的老数据;而以读改写方式更新校验块需要读取x个数据块和n个校验块即n+x个块的老数据。如m-x小于x+n,则系统选择重构写方式更新校验块;而当m-x大于x+n,则系统选择读改写方式更新校验块;当m-x等于x+n,系统可以任意选择重构写方式或读改写方式更新校验块。
通过本发明上述实施例二来计算第一数据量和第二数据量,EC存储系统先按照上面图4-6所示的方法,根据写请求在EC条带上所涉及的数据范围将EC条带划分为分条,所述分条上包括数据段和校验段。
EC存储系统以分条为单位来计算数据量。具体到第一数据量,EC存储系统根据EC条带中数据段的总数和写请求在所述EC条带上所涉及的数据段的数量来计算;而第二数据量,则由EC存储系统根据EC条带中校验段的总数和写请求在所述EC条带上所涉及的数据段的数量来计算。
具体地、在图4所示的例子中,如果采用重构写方式更新校验块,以重构写方式更新校验块需要读取m-1个数据段的老数据;而以读改写方式更新校验块需要读取1个数据段和n个校验段的老数据。即采用重构写方式更新校验块需要读取的老数据的数据量为L*(m-1),采用读改写方式更新校验块需要读取的老数据的数据量为L*(n+1)。
当L*(m-1)<L*(n+1)时,采用重构写方式更新校验块所需要读取的数据量少于采用读改写方式,则系统选择重构写方式更新校验块;
当L*(m-1)>L*(n+1)时,采用重构写方式更新校验块所需要读取的数据量大于采用读改写方式,则系统选择读改写方式更新校验块;
当L*(m-1)=L*(n+1)时,则系统可以选择重构写方式或读改写方式更新校验块;当然,该种情形下系统还可以进一步根据比较读取本地数据量的多少,选择读取本地数据量更多的方式更新校验块。
而在图5所示的例子中,系统采用重构写方式更新校验块时,系统读取所有的数据块,因此需要读取的老数据的数据量为m*B-L;而采用读改写方式更新校验块时,系统需要读取的老数据为写操作所跨越的所有X个数据块以及n个校验块,即需要读取的老数据的数据量为(X+n)*B。
当m*B-L<(X+n)*B时,采用重构写方式更新校验块所需要读取的数据量少于采用读改写方式,则系统选择重构写方式更新校验块;
当m*B-L>(X+n)*B时,采用重构写方式更新校验块所需要读取的数据量大于采用读改写方式,则系统选择读改写方式更新校验块;
当m*B-L=(X+n)*B时,则系统可以选择重构写方式或读改写方式更新校验块;当然,该种情形下系统还可以进一步根据比较读取本地数据量的多少,选择读取本地数据量更多的方式更新校验块。
这里仅以图4-6为示例说明根据写请求在EC条带上所涉及的数据范围将EC条带划分为分条的方法。在具体实现中,EC存储系统还可以采用其他方式将EC条带划分为分条,比如按照设定的规则将EC条带上的每个数据块和检验快划分为大小相等的多个分条,然后EC存储系统再以分条为单位计算数据量。
需要说明的是,本发明施例提供了的上述更新校验块的方法中,EC存储系统还可以执行故障影响分析,确定是否需要切换更新校验块的方式。在实际系统运行过程中,可能存在其他可能的故障情形,都可以采用由系统先进行故障影响分析,再根据分析结果来确定是否需要切换更新校验块的方式即是否需要由重构写方式切换到读改写方式,或者由读改写方式切换到重构写方式;具体可以包括本发明实施例三仅提供的故障情形和故障影响分析的实现方法。
在本发明公开的上述实施例和更新校验块的方法中,EC存储系统通过比较需读取数据量来选择更新校验块的方式,通过选择更合适的方式提高了存储系统的效率,同时可以减少CPU和网络带宽的消耗。本发明的技术方案还通过将EC条带划分为分条的方法,在未满条带写操作的场景下,能更准确选择更优的更新校验块的方式,进一步提高效率、提升系统性能。本发明实施例还通过考虑本地读取优先,以降低网络带宽占用;同时通过故障影响分析实现选择或切换到更优的更新检验块的方式。
如图7所示,本发明实施例提供了一种更新校验块的设备700,该设备700可以是EC存储系统中用于实现存储控制的设备。该设备700包括:
接收单元702,用于接收涉及一EC条带的写请求;
更新单元704,用于根据所述写请求在所述EC条带上所涉及的数据范围,选择重构写方式或读改写方式更新所述EC条带上的校验块。
上述设备还可以包括计算单元706。计算单元706可以用于根据所述写请求在所述EC条带上所涉及的数据范围,计算采用重构写方式更新所述校验块需要读取的第一数据量;并根据所述写请求在所述EC条带上所涉及的数据范围,计算采用读改写方式更新所述校验块需要读取的第二数据量;更新单元704可以通过比较所述第一数据量和所述第二数据量来选择重构写方式或读改写方式。
需要说明的是,计算单元706可以通过本发明上述实施例一或实施例二的方式来计算第一数据量和第二数据量。当第一数据量和所述第二数据量相等时,更新单元704可以根据读取本地数据量的多少从所述重构写方式或读改写方式中选择读取本地数据量更多的方式。同时设备700还可以执行故障影响分析,确定是否需要切换更新校验块的方式。
本发明实施例还公开了一种如图8所示的获取进程信息的设备800,包括至少一个处理器801,至少一个存储器803以及至少一个通信接口804。
处理器801可以是一个通用中央处理器(CPU)、微处理器、特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
所述通信接口804,可以是使用任何收发器一类的装置,用于与其他设备或通信网络之间的通信。这里的通信网络可以是以太网,无线接入网(Radio Access Network,RAN),无线局域网(Wireless Local Area Networks,WLAN)等。
存储器803可以是只读存储器(read-only memory,ROM)、可存储静态信息和指令的静态存储设备、随机存取存储器(random access memory,RAM)、或者可存储信息和指令的动态存储设备,也可以是电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器403可以是独立存在,存储器803也可以和处理器801集成在一起。
上述存储器803可用于存储执行本申请方案的应用程序代码;处理器801可用于执行存储器803中存储的应用程序代码。
作为具体实现的一种实施例,设备800可以包括多个处理器,例如图8中的处理器801和处理器808。这些处理器中的每一个都可以是单核(single-CPU)处理器,也可以是多核(multi-CPU)处理器。每个处理器本身,如处理器801可以包括一个或多个CPU,例如CPU0和CPU1。
设备800还可以包括输出设备805和输入设备806。输出设备805和处理器801通信,可以以多种方式来显示信息。输出设备805可以是液晶显示器(liquid crystal display,LCD)、发光二级管(light emitting diode,LED)显示设备、阴极射线管(cathode raytube,CRT)显示设备、或投影仪(projector)等。输入设备806和处理器801通信,可以以多种方式接收用户的输入。输入设备806可以是鼠标、键盘、触摸屏设备或传感设备等。
设备800可以是通用计算机设备、或者专用计算机设备。在具体实现中,设备800可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant,PDA)、移动手机、平板电脑、无线终端设备、通信设备、或嵌入式设备等。本申请实施例不限定设备800的类型。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元,本文中所出现的单元的划分,仅仅是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个单元可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元之间的间接耦合或通信连接可以是电性或其他类似的形式,本文中均不作限定。并且,作为分离部件说明的单元或子单元可以是也可以不是物理上的分离,可以是也可以不是物理单元,或者可以分不到多个电路单元中,可以根据实际的需要选择其中的部分或全部单元来实现本发明实施例方案的目的。
本领域技术人员应明白,本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中,与其它硬件一起提供或作为硬件的一部分,也可以采用其他分布形式,如通过Internet或其它有线或无线电信系统。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
以上对本发明所提供的技术方案进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (20)
1.一种更新校验块的方法,其特征在于,所述方法包括:
纠删码(EC,Erasure Code)存储系统接收涉及一EC条带的写请求;
所述EC存储系统根据所述写请求在所述EC条带上所涉及的数据范围,选择重构写方式或读改写方式更新所述EC条带上的校验块。
2.根据权利要求1所述方法,其特征在于,所述EC存储系统通过如下方式选择重构写方式或读改写方式:
所述EC存储系统根据所述写请求在所述EC条带上所涉及的数据范围,计算采用重构写方式更新所述校验块需要读取的第一数据量;
所述EC存储系统根据所述写请求在所述EC条带上所涉及的数据范围,计算采用读改写方式更新所述校验块需要读取的第二数据量;
所述EC存储系统通过比较所述第一数据量和所述第二数据量来选择重构写方式或读改写方式。
3.根据权利要求2所述方法,其特征在于,所述EC存储系统计算所述第一数据量包括:所述EC存储系统根据所述EC条带上的数据块的总数和所述写请求在所述EC条带上所涉及的数据块的数量计算所述第一数据量;
所述EC存储系统计算所述第二数据量包括:所述EC存储系统根据所述EC条带上的校验块的总数和所述写请求在所述EC条带上所涉及的数据块的数量计算所述第二数据量。
4.根据权利要求2所述方法,其特征在于,所述方法还包括:所述EC存储系统根据所述写请求在所述EC条带上所涉及的数据范围,将所述EC条带划分为分条,所述分条上包括数据段和校验段;
所述EC存储系统计算所述第一数据量包括:所述EC存储系统根据所述EC条带中数据段的总数和所述写请求在所述EC条带上所涉及的数据段的数量计算所述第一数据量;
所述EC存储系统计算所述第二数据量包括:所述EC存储系统根据所述EC条带中校验段的总数和所述写请求在所述EC条带上所涉及的数据段的数量计算所述第二数据量。
5.根据权利要求2至4任一项所述方法,其特征在于,所述第一数据量和所述第二数据量相等时,所述EC存储系统根据读取本地数据的数据量来选择重构写方式或读改写方式。
6.根据权利要求1至5任一项所述方法,其特征在于,所述方法还包括:所述EC存储系统执行故障影响分析,确定是否需要切换更新校验块的方式。
7.一种更新校验块的设备,其特征在于,所述设备至少一处理器和至少一存储器,所述至少一个存储器用于存储计算机程序,所述至少一个处理器用于调用所述至少一个存储器中的程序代码来执行所述权利要求1至6任一项所述的方法。
8.一种计算机存储介质,所述计算机存储介质上储存为计算机软件指令,所述计算机软件指令运行后使计算机执行权利要求1至6任一项所记载的方法。
9.一种更新校验块的设备,其特征在于,所述设备包括:
接收单元,用于接收涉及一EC条带的写请求;
更新单元,用于根据所述写请求在所述EC条带上所涉及的数据范围,选择重构写方式或读改写方式更新所述EC条带上的校验块。
10.根据权利要求9所述设备,其特征在于,所述设备还包括计算单元;
所述计算单元用于根据所述写请求在所述EC条带上所涉及的数据范围,计算采用重构写方式更新所述校验块需要读取的第一数据量;并根据所述写请求在所述EC条带上所涉及的数据范围,计算采用读改写方式更新所述校验块需要读取的第二数据量;
所述更新单元用于通过比较所述第一数据量和所述第二数据量来选择重构写方式或读改写方式。
11.根据权利要求10所述设备,其特征在于,所述计算单元根据所述EC条带上的数据块的总数和所述写请求在所述EC条带上所涉及的数据块的数量计算所述第一数据量,并根据所述EC条带上的校验块的总数和所述写请求在所述EC条带上所涉及的数据块的数量计算所述第二数据量。
12.根据权利要求10所述设备,其特征在于,所述EC条带被划分为分条,所述分条上包括数据段和校验段;
所述计算单元根据所述EC条带中数据段的总数和所述写请求在所述EC条带上所涉及的数据段的数量计算所述第一数据量;并根据所述EC条带中校验段的总数和所述写请求在所述EC条带上所涉及的数据段的数量计算所述第二数据量。
13.根据权利要求10至12任一项所述设备,其特征在于,所述第一数据量和所述第二数据量相等时,所述更新单元根据读取本地数据的数据量来选择重构写方式或读改写方式。
14.根据权利要求9至13任一项所述设备,其特征在于,所述设备还用于执行故障影响分析,确定是否需要切换更新校验块的方式。
15.一种纠删码(EC,Erasure Code)存储系统,其特征在于,所述所述EC存储系统包括至少一EC条带;
所述EC存储系统用于接收涉及所述EC条带的写请求;并根据所述写请求在所述EC条带上所涉及的数据范围,选择重构写方式或读改写方式更新所述EC条带上的校验块。
16.根据权利要求15所述EC存储系统,其特征在于,所述EC存储系统还用于根据所述写请求在所述EC条带上所涉及的数据范围,计算采用重构写方式更新所述校验块需要读取的第一数据量;并根据所述写请求在所述EC条带上所涉及的数据范围,计算采用读改写方式更新所述校验块需要读取的第二数据量;
所述EC存储系统还通过比较所述第一数据量和所述第二数据量来选择重构写方式或读改写方式。
17.根据权利要求15所述EC存储系统,其特征在于,所述EC存储系统根据所述EC条带上的数据块的总数和所述写请求在所述EC条带上所涉及的数据块的数量计算所述第一数据量;并根据所述EC条带上的校验块的总数和所述写请求在所述EC条带上所涉及的数据块的数量计算所述第二数据量。
18.根据权利要求15所述EC存储系统,其特征在于,所述EC存储系统用于根据所述写请求在所述EC条带上所涉及的数据范围,所述EC条带被划分为分条,所述分条上包括数据段和校验段;
所述EC存储系统还用于根据所述EC条带中数据段的总数和所述写请求在所述EC条带上所涉及的数据段的数量计算所述第一数据量;并根据所述EC条带中校验段的总数和所述写请求在所述EC条带上所涉及的数据段的数量计算所述第二数据量。
19.根据权利要求15至18任一项所述EC存储系统,其特征在于,所述第一数据量和所述第二数据量相等时,所述EC存储系统根据读取本地数据的数据量来选择重构写方式或读改写方式。
20.根据权利要求15至19任一项所述EC存储系统,其特征在于,所述EC存储系统还用于执行故障影响分析,确定是否需要切换更新校验块的方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810296834.XA CN108717383A (zh) | 2018-04-03 | 2018-04-03 | 一种更新校验块的方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810296834.XA CN108717383A (zh) | 2018-04-03 | 2018-04-03 | 一种更新校验块的方法和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108717383A true CN108717383A (zh) | 2018-10-30 |
Family
ID=63898853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810296834.XA Pending CN108717383A (zh) | 2018-04-03 | 2018-04-03 | 一种更新校验块的方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108717383A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111399755A (zh) * | 2019-09-10 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 数据存储管理的方法和装置 |
CN112098770A (zh) * | 2020-08-20 | 2020-12-18 | 深圳市宏旺微电子有限公司 | 针对动态耦合故障模拟极端环境下的测试方法和装置 |
CN112783689A (zh) * | 2021-02-08 | 2021-05-11 | 上海交通大学 | 一种基于lrc编码的部分条带写优化方法及装置 |
CN112947858A (zh) * | 2021-02-25 | 2021-06-11 | 浪潮电子信息产业股份有限公司 | 一种raid 5校验值的更新方法、装置和介质 |
CN113391941A (zh) * | 2021-06-18 | 2021-09-14 | 苏州浪潮智能科技有限公司 | 一种raid的读写超时处理方法、装置、设备及介质 |
CN114116297A (zh) * | 2022-01-27 | 2022-03-01 | 苏州浪潮智能科技有限公司 | 一种数据编码方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5506977A (en) * | 1991-12-17 | 1996-04-09 | Dell Usa, L.P. | Method and controller for minimizing reads during partial stripe write operations to a disk drive |
CN1971498A (zh) * | 2005-11-21 | 2007-05-30 | 普安科技股份有限公司 | 数据存取方法及其存储子系统 |
CN101650675A (zh) * | 2009-08-28 | 2010-02-17 | 中兴通讯股份有限公司 | 利用异或校验磁盘阵列写数据的方法及装置 |
CN102270102A (zh) * | 2011-04-29 | 2011-12-07 | 华中科技大学 | 一种raid6磁盘阵列写性能的优化方法 |
CN104035840A (zh) * | 2014-06-12 | 2014-09-10 | 浙江宇视科技有限公司 | 一种恢复条带读错误的方法和装置 |
-
2018
- 2018-04-03 CN CN201810296834.XA patent/CN108717383A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5506977A (en) * | 1991-12-17 | 1996-04-09 | Dell Usa, L.P. | Method and controller for minimizing reads during partial stripe write operations to a disk drive |
CN1971498A (zh) * | 2005-11-21 | 2007-05-30 | 普安科技股份有限公司 | 数据存取方法及其存储子系统 |
CN101650675A (zh) * | 2009-08-28 | 2010-02-17 | 中兴通讯股份有限公司 | 利用异或校验磁盘阵列写数据的方法及装置 |
CN102270102A (zh) * | 2011-04-29 | 2011-12-07 | 华中科技大学 | 一种raid6磁盘阵列写性能的优化方法 |
CN104035840A (zh) * | 2014-06-12 | 2014-09-10 | 浙江宇视科技有限公司 | 一种恢复条带读错误的方法和装置 |
Non-Patent Citations (1)
Title |
---|
杨龙: ""基于网络负载的自适应闪存阵列设计与实现"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111399755A (zh) * | 2019-09-10 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 数据存储管理的方法和装置 |
CN112098770A (zh) * | 2020-08-20 | 2020-12-18 | 深圳市宏旺微电子有限公司 | 针对动态耦合故障模拟极端环境下的测试方法和装置 |
CN112783689A (zh) * | 2021-02-08 | 2021-05-11 | 上海交通大学 | 一种基于lrc编码的部分条带写优化方法及装置 |
CN112783689B (zh) * | 2021-02-08 | 2022-09-02 | 上海交通大学 | 一种基于lrc编码的部分条带写优化方法及装置 |
CN112947858A (zh) * | 2021-02-25 | 2021-06-11 | 浪潮电子信息产业股份有限公司 | 一种raid 5校验值的更新方法、装置和介质 |
CN112947858B (zh) * | 2021-02-25 | 2023-04-25 | 浪潮电子信息产业股份有限公司 | 一种raid 5校验值的更新方法、装置和介质 |
CN113391941A (zh) * | 2021-06-18 | 2021-09-14 | 苏州浪潮智能科技有限公司 | 一种raid的读写超时处理方法、装置、设备及介质 |
CN113391941B (zh) * | 2021-06-18 | 2022-07-22 | 苏州浪潮智能科技有限公司 | 一种raid的读写超时处理方法、装置、设备及介质 |
CN114116297A (zh) * | 2022-01-27 | 2022-03-01 | 苏州浪潮智能科技有限公司 | 一种数据编码方法、装置、设备及介质 |
CN114116297B (zh) * | 2022-01-27 | 2022-04-22 | 苏州浪潮智能科技有限公司 | 一种数据编码方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108717383A (zh) | 一种更新校验块的方法和设备 | |
CN108733314B (zh) | 用于独立冗余阵列(raid)重建的方法、设备和计算机可读存储介质 | |
CN109725837B (zh) | 管理存储系统的方法、系统和计算机程序产品 | |
US10127110B2 (en) | Reallocating storage in a dispersed storage network | |
CN108052655B (zh) | 数据写入及读取方法 | |
US10664367B2 (en) | Shared storage parity on RAID | |
EP2972872B1 (en) | Virtual disk recovery and redistribution | |
CN108287669A (zh) | 数据存储方法、装置及存储介质 | |
US20120030425A1 (en) | Parity declustered storage device array with partition groups | |
US8726261B2 (en) | Zero downtime hard disk firmware update | |
CN110413208B (zh) | 用于管理存储系统的方法、设备和计算机程序产品 | |
CN105786405A (zh) | 一种在线升级方法、装置及系统 | |
CN111858130A (zh) | 用于拆分盘集的方法、设备和计算机程序产品 | |
US10860476B2 (en) | Method, apparatus and computer program product for managing storage system | |
CN110389858A (zh) | 存储设备的故障恢复方法和设备 | |
CN108536548A (zh) | 一种磁盘坏道的处理方法、装置及计算机存储介质 | |
US11385828B2 (en) | Method and apparatus for calculating storage system available capacity | |
US20140279895A1 (en) | N-way Parity for Virtual Disk Resiliency | |
CN115048254B (zh) | 数据分配策略的仿真测试方法、系统、设备和可读介质 | |
CN110058965A (zh) | 存储系统中的数据重建方法及设备 | |
CN112181736A (zh) | 分布式存储系统及分布式存储系统的配置方法 | |
US8762773B2 (en) | Processing apparatus, data migration method, and computer-readable recording medium having data migration program recorded thereon | |
US7013408B2 (en) | User defined disk array | |
CN113821302A (zh) | 虚拟化云平台部署虚拟机的方法、装置、电子设备及介质 | |
CN112925471A (zh) | 在存储系统中选择重建目的地的方法、设备和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181030 |
|
RJ01 | Rejection of invention patent application after publication |