CN112835533A - 一种基于机架级别的云存储阵列扩展方法及装置 - Google Patents

一种基于机架级别的云存储阵列扩展方法及装置 Download PDF

Info

Publication number
CN112835533A
CN112835533A CN202110213563.9A CN202110213563A CN112835533A CN 112835533 A CN112835533 A CN 112835533A CN 202110213563 A CN202110213563 A CN 202110213563A CN 112835533 A CN112835533 A CN 112835533A
Authority
CN
China
Prior art keywords
rack
migrated
expansion
blocks
storage array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110213563.9A
Other languages
English (en)
Other versions
CN112835533B (zh
Inventor
李颉
吴晨涛
过敏意
林哲汉
郭翰宸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110213563.9A priority Critical patent/CN112835533B/zh
Publication of CN112835533A publication Critical patent/CN112835533A/zh
Application granted granted Critical
Publication of CN112835533B publication Critical patent/CN112835533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于机架级别的云存储阵列扩展方法及装置，该方法包括：对扩展存储阵列的输入参数进行计算，得到所述扩展存储阵列的扩展参数；根据所述扩展参数，确定所述扩展存储阵列对应的目标扩展策略；按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块。通过实施本申请，能够解决现有技术中存在的不能适用于多维编码扩展场景、扩展迁移效率较低等问题。

Description

一种基于机架级别的云存储阵列扩展方法及装置
技术领域
本申请涉及云存储技术领域，特别是涉及一种基于机架级别的云存储阵列扩展方法及装置。
背景技术
在大型云存储系统中，磁盘阵列被广泛运用，而纠删码作为一种能实现高数据可靠性且同时能实现高存储效率的方法，往往和磁盘阵列一起使用，用以高效并可靠地存储大量数据。随着数据量的增大，磁盘阵列需要扩展以满足存储需求。扩展的方法往往需要兼顾纠删码，以达到减少数据迁移量、校验更新等多方面的开销，同时保证磁盘数据的均匀分布。
目前，磁盘阵列扩展方法通常采用Round-Robin(轮询调度)、Semi-RR和Scale-RS等方法。其中，Round-Robin是最简单的磁盘阵列扩展方法，通过对数据块的重新轮换排布，按照顺序逐个迁移数据块，达到数据的均匀分布。Semi-RR是在Round-Robin基础上完成的，保留部分的三角数据块不动的基础上按照Round-Robin的方式轮流迁移剩余的数据块，虽然这种方法相比于Round-Robin优化不少，但其各方面的开销仍然较大，且随着迁移会丧失数据的均匀分布。Scale-RS是一种针对RS编码的扩展方法，通过将数据分区域，每个区域内整行进行迁移，极大地减少了数据迁移量，达到了在数据均匀分布的基础上理论的最小数据迁移量。但Scale-RS仅能作用于一维扩展，在多维编码场景下不能很好的应用，且迁移效率较低。
发明内容
为克服上述现有技术存在的不足，本申请之目的在于提供一种基于机架级别的云存储阵列扩展方法及装置，能够解决现有技术中存在的不能适用于多维编码扩展场景、扩展迁移效率较低等问题。
为达上述及其它目的，本申请提出一种基于机架级别的云存储阵列扩展方法，包括如下步骤：
对扩展存储阵列的输入参数进行计算，得到所述扩展存储阵列的扩展参数，所述扩展参数用于指示相对于所述扩展存储阵列的原始存储阵列中待迁移块的迁移；
根据所述扩展参数，确定所述扩展存储阵列对应的目标扩展策略；
按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块。
可选的，若所述扩展参数用于指示所述扩展后的机架中的磁盘数量增加，则所述目标扩展策略为二维扩展策略，所述按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块包括：
按照磁盘顺序将同一条带的待迁移块迁移写入新增机架的存储磁盘中，并更新原始机架中的全局校验块和所述新增机架中的局部校验块和全局校验块；
其中，所述待迁移块包括待迁移的数据块和局部校验块。
可选的，若所述扩展参数用于指示所述扩展后的机架中的磁盘数量不变，则所述目标扩展策略为三维扩展策略，所述按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块包括：
按照磁盘顺序将机架内部的待迁移块迁移写入到同一机架的新增磁盘中，并更新所述同一机架中的局部校验块和全局校验块；
按照磁盘并行连续的迁移规则，将跨机架的待迁移块迁移写入新增机架中的存储磁盘中，并更新所述新增机架中的局部校验块和全局校验块；
其中，所述待迁移块为待迁移的数据块。
可选的，所述输入参数包括原始机架数量、原始磁盘数据、扩展后的机架数量、扩展后的磁盘数据以及原始编码参数。
可选的，所述扩展参数包括：划分的条带信息、每个条带中的不迁移块、机架内部的待迁移块和跨机架的待迁移块；
其中，所述条带信息对应的每个条带大小等于所述扩展后的机架数量，每个机架中所述不迁移块所在的行数等于所述原始磁盘数量，每个机架中所述机架内部的待迁移块所在的行数等于所述原始机架数量乘以扩展后每个机架中新增的磁盘数量，每个机架中所述跨机架的待迁移块为除去所述机架中的不迁移块和所述机架内部的待迁移块之后的剩余块。
为达上述及其它目的，本申请还提出一种基于机架级别的云存储阵列扩展装置，包括：
计算单元，用于对扩展存储阵列的输入参数进行计算，得到所述扩展存储阵列的扩展参数，所述扩展参数用于指示相对于所述扩展存储阵列的原始存储阵列中待迁移块的迁移；
确定单元，用于根据所述扩展参数，确定所述扩展存储阵列对应的目标扩展策略；
迁移单元，用于按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块。
可选的，若所述扩展参数用于指示所述扩展后的机架中的磁盘数量增加，则所述目标扩展策略为二维扩展策略，所述迁移单元具体用于：
按照磁盘顺序将同一条带的待迁移块迁移写入新增机架的存储磁盘中，并更新原始机架中的全局校验块和所述新增机架中的局部校验块和全局校验块；
其中，所述待迁移块包括待迁移的数据块和局部校验块。
可选的，若所述扩展参数用于指示所述扩展后的机架中的磁盘数量不变，则所述目标扩展策略为三维扩展策略，所述迁移单元具体用于：
按照磁盘顺序将机架内部的待迁移块迁移写入到同一机架的新增磁盘中，并更新所述同一机架中的局部校验块和全局校验块；
按照磁盘并行连续的迁移规则，将跨机架的待迁移块迁移写入新增机架中的存储磁盘中，并更新所述新增机架中的局部校验块和全局校验块；
其中，所述待迁移块为待迁移的数据块。
可选的，所述输入参数包括原始机架数量、原始磁盘数据、扩展后的机架数量、扩展后的磁盘数据以及原始编码参数。
可选的，所述扩展参数包括：划分的条带信息、每个条带中的不迁移块、机架内部的待迁移块和跨机架的待迁移块；
其中，所述条带信息对应的每个条带大小等于所述扩展后的机架数量，每个机架中所述不迁移块所在的行数等于所述原始磁盘数量，每个机架中所述机架内部的待迁移块所在的行数等于所述原始机架数量乘以扩展后每个机架中新增的磁盘数量，每个机架中所述跨机架的待迁移块为除去所述机架中的不迁移块和所述机架内部的待迁移块之后的剩余块。
由上可见本申请提供了一种基于机架级别的云存储阵列扩展方法及装置，能达到以下有益效果：本申请设计了一种可以在多维编码环境下实现云存储阵列高效扩展的方法及装置，通过对跨机架的数据传输迁移开销的优化，大幅减少了数据的迁移量、校验更新开销以及跨机架的数据传输量，同时缩短了磁盘阵列扩展的时间，提升了扩展迁移的效率，从而有效地解决了现有磁盘阵列扩展方法中存在的不能适用于多维编码扩展场景以及效率较低等问题。
附图说明
图1是本申请实施例提供的一种基于机架级别的云存储阵列扩展方法的流程示意图。
图2是本申请实施例提供的一种基于机架级别的云存储阵列扩展的整体设计示意图。
图3是本申请实施例提供的一种二维扩展策略下的数据迁移示意图。
图4是本申请实施例提供的一种三维扩展策略下的数据迁移示意图。
图5是本申请实施例提供的一种基于机架级别的云存储阵列扩展装置的结构示意图。
具体实施方式
以下通过特定的具体实例并结合附图说明本申请的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本申请的其它优点与功效。本申请亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本申请的精神下进行各种修饰与变更。
请参见图1，是本申请实施例提供的一种基于机架级别的云存储阵列扩展方法的流程示意图。如图1所示的方法包括如下实施步骤。
S101、对扩展存储阵列的输入参数进行计算，得到所述扩展存储阵列的扩展参数，所述扩展参数用于指示相对于所述扩展存储阵列的原始存储阵列中待迁移块的迁移。
为满足存储需求，本申请针对多维编码应用场景下提出基于机架级别的阵列扩展方案，设计独特的数据迁移方式。具体地，本申请将磁盘阵列扩展方案分为三个步骤：参数准备、数据迁移和校验更新，具体如图2示出了一种基于机架级别的云存储阵列扩展方案的整体设计示意图。
其中，参数准备步骤：通过对原始磁盘阵列和扩展磁盘阵列的相关信息等输入参数进行的计算，得到磁盘阵列扩展过程中所必须的扩展参数。该扩展参数用于指示如何对原始存储阵列中的待迁移块的迁移。所述输入参数包括但不限于以下参数中的任一项或多项的组合：原始机架数量、原始磁盘数量、扩展后的机架数量以及扩展后的磁盘数量。可选的，每个机架中部署有至少一个磁盘。
所述扩展参数包括以下中的至少一项：条带的切分(即切分的条带信息)、待迁移块的分类以及扩展方案(目标扩展策略)等参数信息。具体地，切分后每个条带的大小(简称为条带大小)等于扩展后的磁盘数量。待迁移块的分类可分为不迁移块、机架内部的待迁移块和跨机架的待迁移块。其中，每个条带中的不迁移块、机架内部的待迁移块和跨机架的待迁移块之间的比列是根据输入参数确定的，具体地不迁移块所占的行数等于原始磁盘数量、机架内部的待迁移块所占的行数等于原始机架数量乘以扩展后每个机架中新增的磁盘数量，跨机架的待迁移块为该条带中除去不迁移块和机架内部的待迁移块之后的剩余块。
S102、根据所述扩展参数，确定所述扩展存储阵列对应的目标扩展策略。
本申请若所述扩展参数用于指示扩展后的机架中的磁盘数量不变，即扩展后的机架与扩展前的原始机架中的存储磁盘数量一致，则确定其对应的目标扩展策略为二维扩展策略，此方案下并不涉及机架内部的待迁移块的迁移，即当前机架内部的待迁移块为0。反之，若所述扩展参数用于指示扩展后的机架中的磁盘数量增加，即扩展后的机架中有新增的存储磁盘，则确定其对应的目标扩展策略为三维扩展策略，此方案下涉及机架内部和跨机架的待迁移块的迁移。
S103、按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块。
在数据迁移步骤中，本申请可根据参数准备阶段得到的扩展参数，从二维扩展策略和三维扩展策略中选取合适的目标扩展策略，最后按照对应的目标扩展策略对原始存储阵列中的待迁移块进行相应地迁移。最后在校验更新步骤中，将所有涉及的全局校验块和/或局部校验块统一更新，完成最后的磁盘扩展。
作为一种可能的实施方式，在二维扩展策略下可直接进行跨机架的待迁移块的迁移，将待迁移块直接迁移写入至新增的机架中。具体地，本申请将按磁盘顺序将同一条带的待迁移块迁移至新增机架的存储磁盘中，这里的待迁移块包括待迁移的数据块和局部校验块。
举例来说，请参见图3示出的一种二维扩展策略下的数据迁移示意图。如图3所示图例中，原始机架数量为2、原始磁盘数量为4(Disk0-Disk3)、扩展后的机架数量为3、扩展后的磁盘数量为6(Disk0-Disk5)。如图由于每个扩展后的机架和原始机架中的磁盘数量不变，则本申请可采用二维扩展策略进行数据迁移。在迁移过程中，先确定原始存储阵列中的待迁移块，此例即为图示中第4行和第5行中的数据块(图示中Row4、Row5中虚线框所示的数据块)和局部数据块。然后按照磁盘顺序将同一条带中的待迁移块迁移至新增机架的存储磁盘中，例如将同一磁盘Disk0中的16和20号数据块读取出来，写入至新增机架的存储磁盘Disk4中、将同一磁盘Disk1中的17和21号数据块读取出来，写入至新增机架的存储磁盘Disk5中，如图依次类推，将所需迁移的所有数据块和局部校验块都迁移至新增机架中。最后统一进行相应校验块的更新，此例即为分别更新3个机架中的所有全局校验块。其中图示中(Pi，j)表示局部校验块，(Gi，j)表示全局校验块，i和j均为整数。
作为另一种可能的实施方式，在三维扩展策略下可先进行机架内部的数据迁移，然后再进行跨机架的数据迁移。具体地，本申请按照磁盘顺序将机架内部的待迁移块迁移写入到同一机架的新增磁盘中，按照磁盘并行连续的迁移规则，将跨机架的待迁移块迁移写入新增机架中的存储磁盘中，并更新每个机架(包括新增机架和原始机架)中的局部校验块和全局校验块；这里的待迁移块为待迁移的数据块。
举例来说，请参见图4示出一种三维扩展策略下的数据迁移示意图。如图4所示，原始机架数量为2、原始磁盘数量为4(Disk0-Disk3)、扩展后的机架数量为3、扩展后的磁盘数量为9(Disk0-Disk8)。如图由于每个扩展后的机架中都新增有1个存储磁盘，则本申请可采用三维扩展策略进行数据迁移。具体地，本申请可先确定待迁移块，如图4中前4行(Row0-Row3)的数据块为不迁移块，中间两行(Row4和Row 5)的数据块为机架内部的待迁移块(如图虚线框所示)、最后3行(Row6-Row8)的数据块为跨机架的待迁移块(如图粗黑线框所示)。然后按照磁盘顺序将机架内部的待迁移块迁移写入同机架中新增的存储磁盘中，例如图3所示将第一个机架中待迁移块(数据块16、20、17和21)按照磁盘顺序写入该机架中的新增磁盘Disk2中，将第二个机架中待迁移块(数据块18、22、19和23)按照磁盘顺序写入该第二个机架中的新增磁盘Disk5中。最后按照磁盘并行连续的迁移规则(即如果待迁移块的行数大于列数，则按照行数依次进行整大块的数据块迁移；如果待迁移块的行数小于列数，则按照列数依次进行整大块的数据块迁移，以尽量保证更多的连续数据块并行一起迁移)来迁移跨机架的待迁移块，具体如图4中由于同一机架的磁盘阵列中跨机架的待迁移块占有3行2列，3大于2，则可将第Row6-Row8这3行的数据块一起迁移，具体如图将Row6-Row8这3行以及顺序的3列(由于扩展后每个机架的磁盘数量为3)作为一个大迁移块，并行迁移至新增的第三个机架中，如图所示连续数据块24、25、26、28、29、30、32、33和34仍旧保持连续迁移，最后将同一磁盘中的剩余数据块27、31、35顺序读取并写入至新增机架中。最后更新每个机架中涉及的局部校验块和全局校验块，例如图示中在原有的第一个机架中可根据原始存储的数据块0、1和新迁入的数据块16来更新其对应的局部校验块(P’0，0)和全局校验块(G’0，0)，在新增的扩展机架中根据新迁入的数据块24、25和26来计算并存储其对应的局部校验块(P’2，0)和全局校验块(G’2，0)。
通过实施本申请实施例，本申请能够针对多维扩展场景高效地完成磁盘阵列扩展，特别地针对多维编码在多机架场景下的应用，设计了特有的数据迁移方案包括迁移局部校验块、提前更新全局校验块等，以此保证在此场景下磁盘阵列的高效扩展。具体通过对跨机架的数据传输迁移开销的优化，大幅减少了数据的迁移量、校验更新开销以及跨机架的数据传输量，同时缩短了磁盘阵列扩展的时间，提升了扩展迁移的效率，从而有效地解决了现有磁盘阵列扩展方法中存在的不能适用于多维编码扩展场景以及效率较低等问题。
请参见图5，是本申请实施例提供的一种基于机架级别的云存储阵列扩展装置的结构示意图。如图5所示的装置中包括计算单元501、确定单元502和迁移单元503，其中：
所述计算单元501，用于对扩展存储阵列的输入参数进行计算，得到所述扩展存储阵列的扩展参数，所述扩展参数用于指示相对于所述扩展存储阵列的原始存储阵列中待迁移块的迁移；
所述确定单元502，用于根据所述扩展参数，确定所述扩展存储阵列对应的目标扩展策略；
所述迁移单元503，用于按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块。
可选的，若所述扩展参数用于指示所述扩展后的机架中的磁盘数量增加，则所述目标扩展策略为二维扩展策略，所述迁移单元503具体用于：
按照磁盘顺序将同一条带的待迁移块迁移写入新增机架的存储磁盘中，并更新原始机架中的全局校验块和所述新增机架中的局部校验块和全局校验块；
其中，所述待迁移块包括待迁移的数据块和局部校验块。
可选的，若所述扩展参数用于指示所述扩展后的机架中的磁盘数量不变，则所述目标扩展策略为三维扩展策略，所述迁移单元503具体用于：
按照磁盘顺序将机架内部的待迁移块迁移写入到同一机架的新增磁盘中，并更新所述同一机架中的局部校验块和全局校验块；
按照磁盘并行连续的迁移规则，将跨机架的待迁移块迁移写入新增机架中的存储磁盘中，并更新所述新增机架中的局部校验块和全局校验块；
其中，所述待迁移块为待迁移的数据块。
可选的，所述输入参数包括原始机架数量、原始磁盘数据、扩展后的机架数量、扩展后的磁盘数据以及原始编码参数。
可选的，所述扩展参数包括：划分的条带信息、每个条带中的不迁移块、机架内部的待迁移块和跨机架的待迁移块；
其中，所述条带信息对应的每个条带大小等于所述扩展后的机架数量，每个机架中所述不迁移块所在的行数等于所述原始磁盘数量，每个机架中所述机架内部的待迁移块所在的行数等于所述原始机架数量乘以扩展后每个机架中新增的磁盘数量，每个机架中所述跨机架的待迁移块为除去所述机架中的不迁移块和所述机架内部的待迁移块之后的剩余块。
通过实施本申请，设计了一种可以在多维编码环境下实现云存储阵列高效扩展的方法及装置，通过对跨机架的数据传输迁移开销的优化，大幅减少了数据的迁移量、校验更新开销以及跨机架的数据传输量，同时缩短了磁盘阵列扩展的时间，提升了扩展迁移的效率，从而有效地解决了现有磁盘阵列扩展方法中存在的不能适用于多维编码扩展场景以及效率较低等问题。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何本领域技术人员均可在不违背本申请的精神及范畴下，对上述实施例进行修饰与改变。因此，本申请的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于机架级别的云存储阵列扩展方法，其特征在于，包括：
对扩展存储阵列的输入参数进行计算，得到所述扩展存储阵列的扩展参数，所述扩展参数用于指示相对于所述扩展存储阵列的原始存储阵列中待迁移块的迁移；
根据所述扩展参数，确定所述扩展存储阵列对应的目标扩展策略；
按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块。
2.根据权利要求1所述的基于机架级别的云存储阵列扩展方法，其特征在于，若所述扩展参数用于指示所述扩展后的机架中的磁盘数量不变，则所述目标扩展策略为二维扩展策略，所述按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块包括：
按照磁盘顺序将同一条带的待迁移块迁移写入新增机架的存储磁盘中，并更新原始机架中的全局校验块和所述新增机架中的局部校验块和全局校验块；
其中，所述待迁移块包括待迁移的数据块和局部校验块。
3.根据权利要求1所述的基于机架级别的云存储阵列扩展方法，其特征在于，若所述扩展参数用于指示所述扩展后的机架中的磁盘数量增多，则所述目标扩展策略为三维扩展策略，所述按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块包括：
按照磁盘顺序将机架内部的待迁移块迁移写入到同一机架的新增磁盘中，并更新所述同一机架中的局部校验块和全局校验块；
按照磁盘并行连续的迁移规则，将跨机架的待迁移块迁移写入新增机架中的存储磁盘中，并更新所述新增机架中的局部校验块和全局校验块；
其中，所述待迁移块为待迁移的数据块。
4.根据权利要求1所述的基于机架级别的云存储阵列扩展方法，其特征在于，所述输入参数包括原始机架数量、原始磁盘数据、扩展后的机架数量、扩展后的磁盘数据以及原始编码参数。
5.根据权利要求1-4中任一项所述的基于机架级别的云存储阵列扩展方法，其特征在于，所述扩展参数包括：划分的条带信息、每个条带中的不迁移块、机架内部的待迁移块和跨机架的待迁移块；
其中，所述条带信息对应的每个条带大小等于所述扩展后的磁盘数量，每个机架中所述不迁移块所在的行数等于所述原始磁盘数量，每个机架中所述机架内部的待迁移块所在的行数等于所述原始机架数量乘以扩展后每个机架中新增的磁盘数量，每个机架中所述跨机架的待迁移块为除去所述机架中的不迁移块和所述机架内部的待迁移块之后的剩余块。
6.一种基于机架级别的云存储阵列扩展装置，其特征在于，包括：
计算单元，用于对扩展存储阵列的输入参数进行计算，得到所述扩展存储阵列的扩展参数，所述扩展参数用于指示相对于所述扩展存储阵列的原始存储阵列中待迁移块的迁移；
确定单元，用于根据所述扩展参数，确定所述扩展存储阵列对应的目标扩展策略；
迁移单元，用于按照所述目标扩展策略，对所述原始存储阵列中的待迁移块进行相应的迁移，并更新对应的校验块。
7.根据权利要求6所述的基于机架级别的云存储阵列扩展装置，其特征在于，若所述扩展参数用于指示所述扩展后的机架中的磁盘数量增加，则所述目标扩展策略为二维扩展策略，所述迁移单元具体用于：
按照磁盘顺序将同一条带的待迁移块迁移写入新增机架的存储磁盘中，并更新原始机架中的全局校验块和所述新增机架中的局部校验块和全局校验块；
其中，所述待迁移块包括待迁移的数据块和局部校验块。
8.根据权利要求6所述的基于机架级别的云存储阵列扩展装置，其特征在于，若所述扩展参数用于指示所述扩展后的机架中的磁盘数量不变，则所述目标扩展策略为三维扩展策略，所述迁移单元具体用于：
按照磁盘顺序将机架内部的待迁移块迁移写入到同一机架的新增磁盘中，并更新所述同一机架中的局部校验块和全局校验块；
按照磁盘并行连续的迁移规则，将跨机架的待迁移块迁移写入新增机架中的存储磁盘中，并更新所述新增机架中的局部校验块和全局校验块；
其中，所述待迁移块为待迁移的数据块。
9.根据权利要求6所述的基于机架级别的云存储阵列扩展装置，其特征在于，所述输入参数包括原始机架数量、原始磁盘数据、扩展后的机架数量、扩展后的磁盘数据以及原始编码参数。
10.根据权利要求6-9中任一项所述的基于机架级别的云存储阵列扩展装置，其特征在于，所述扩展参数包括：划分的条带信息、每个条带中的不迁移块、机架内部的待迁移块和跨机架的待迁移块；
其中，所述条带信息对应的每个条带大小等于所述扩展后的机架数量，每个机架中所述不迁移块所在的行数等于所述原始磁盘数量，每个机架中所述机架内部的待迁移块所在的行数等于所述原始机架数量乘以扩展后每个机架中新增的磁盘数量，每个机架中所述跨机架的待迁移块为除去所述机架中的不迁移块和所述机架内部的待迁移块之后的剩余块。
CN202110213563.9A 2021-02-25 2021-02-25 一种基于机架级别的云存储阵列扩展方法及装置 Active CN112835533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110213563.9A CN112835533B (zh) 2021-02-25 2021-02-25 一种基于机架级别的云存储阵列扩展方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110213563.9A CN112835533B (zh) 2021-02-25 2021-02-25 一种基于机架级别的云存储阵列扩展方法及装置

Publications (2)

Publication Number Publication Date
CN112835533A true CN112835533A (zh) 2021-05-25
CN112835533B CN112835533B (zh) 2023-02-17

Family

ID=75933548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110213563.9A Active CN112835533B (zh) 2021-02-25 2021-02-25 一种基于机架级别的云存储阵列扩展方法及装置

Country Status (1)

Country Link
CN (1) CN112835533B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484130A (zh) * 2014-12-04 2015-04-01 北京同有飞骥科技股份有限公司 一种横向扩展存储系统的构建方法
CN104932835A (zh) * 2015-05-31 2015-09-23 上海交通大学 基于纠删码的分布式存储系统的扩容和缩容方法
CN106293526A (zh) * 2016-08-05 2017-01-04 上海交通大学 一种三盘容错阵列的可扩展方法及系统
CN106687911A (zh) * 2014-09-15 2017-05-17 微软技术许可有限责任公司 不损害数据完整性的在线数据移动
CN107807794A (zh) * 2017-10-31 2018-03-16 新华三技术有限公司 一种数据存储方法和装置
CN108536396A (zh) * 2018-04-08 2018-09-14 华中科技大学 一种基于网络编码的存储扩展方法
CN110720088A (zh) * 2017-06-12 2020-01-21 净睿存储股份有限公司 集成到大容量存储设备的可访问快速耐久存储

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106687911A (zh) * 2014-09-15 2017-05-17 微软技术许可有限责任公司 不损害数据完整性的在线数据移动
CN104484130A (zh) * 2014-12-04 2015-04-01 北京同有飞骥科技股份有限公司 一种横向扩展存储系统的构建方法
CN104932835A (zh) * 2015-05-31 2015-09-23 上海交通大学 基于纠删码的分布式存储系统的扩容和缩容方法
CN106293526A (zh) * 2016-08-05 2017-01-04 上海交通大学 一种三盘容错阵列的可扩展方法及系统
CN110720088A (zh) * 2017-06-12 2020-01-21 净睿存储股份有限公司 集成到大容量存储设备的可访问快速耐久存储
CN107807794A (zh) * 2017-10-31 2018-03-16 新华三技术有限公司 一种数据存储方法和装置
CN108536396A (zh) * 2018-04-08 2018-09-14 华中科技大学 一种基于网络编码的存储扩展方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WU CHENTAO: ""OPS: an optimized partial stripe write scheme to improve performance of XOR-based disk arrays tolerating triple disk failures"", 《HP3C "19: PROCEEDINGS OF THE 3RD INTERNATIONAL CONFERENCE ON HIGH PERFORMANCE COMPILATION, COMPUTING AND COMMUNICATIONS》 *
WU CHENTAO: ""TIP-Code: A Three Independent Parity Code to Tolerate Triple Disk Failures with Optimal Update Complextiy"", 《DSN "15: PROCEEDINGS OF THE 2015 45TH ANNUAL IEEE/IFIP INTERNATIONAL CONFERENCE ON DEPENDABLE SYSTEMS AND NETWORKS》 *

Also Published As

Publication number Publication date
CN112835533B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
CN107844268B (zh) 一种数据分发方法、数据存储方法、相关装置以及系统
EP3399419B1 (en) Method and system for multi-dimensional raid
CN110096227B (zh) 数据存储方法、数据处理方法、装置、电子设备及计算机可读介质
US11218174B2 (en) Method and system for storing data locally repairable and efficient multiple encoding
CN103513938A (zh) 一种独立磁盘冗余阵列raid系统扩容方法及装置
US11474919B2 (en) Method for managing multiple disks, electronic device and computer program product
CN110058789B (zh) 用于管理存储系统的方法、存储系统以及计算机程序产品
CN107729536A (zh) 一种数据存储方法和装置
CN104615594A (zh) 一种数据更新方法及装置
CN105573680A (zh) 副本数据的存储方法及装置
CN111966631A (zh) 一种可快速分发的镜像文件生成方法、系统、设备和介质
CN112435157B (zh) 包括不同类型的存储器装置的图形处理系统及其操作方法
CN112199054A (zh) 一种文件存储的方法及系统
CN113032007A (zh) 一种数据处理方法及装置
CN107798063B (zh) 快照处理方法和快照处理装置
CN105808451B (zh) 一种数据缓存方法以及相关装置
CN112835533B (zh) 一种基于机架级别的云存储阵列扩展方法及装置
CN110600070B (zh) 一种提升固态硬盘阵列系统修复性能的编码和修复方法
CN115237351B (zh) Nand块动态重映射、读写命令处理方法及存储设备
CN115202589A (zh) 放置组成员选择方法、装置、设备及可读存储介质
CN112015325B (zh) 一种生成解码矩阵的方法、解码方法和对应装置
US11163642B2 (en) Methods, devices and computer readable medium for managing a redundant array of independent disks
CN114253478A (zh) 一种计算raid校验盘位置的方法和装置
US10191678B1 (en) System and method for data re-protection with erasure coding
CN117539690B (zh) 多磁盘数据的合并恢复方法、装置、设备、介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant