CN114816278B - 一种存储服务器的数据迁移方法、系统、设备及存储介质 - Google Patents

一种存储服务器的数据迁移方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114816278B
CN114816278B CN202210759836.4A CN202210759836A CN114816278B CN 114816278 B CN114816278 B CN 114816278B CN 202210759836 A CN202210759836 A CN 202210759836A CN 114816278 B CN114816278 B CN 114816278B
Authority
CN
China
Prior art keywords
migrated
storage server
strips
data
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210759836.4A
Other languages
English (en)
Other versions
CN114816278A (zh
Inventor
吴睿振
王小伟
王凛
陈静静
张永兴
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210759836.4A priority Critical patent/CN114816278B/zh
Publication of CN114816278A publication Critical patent/CN114816278A/zh
Application granted granted Critical
Publication of CN114816278B publication Critical patent/CN114816278B/zh
Priority to PCT/CN2022/141684 priority patent/WO2024001112A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种存储服务器的数据迁移方法、系统、设备及存储介质，包括：在新插入m个磁盘后，根据存储服务器的存储信息确定出待迁移条带数量n；按照预设迁移规则从c个满条带中选取出n个待迁移条带，并从中选取出待迁移数据块且迁移至新插入的磁盘中，以使得迁移完成之后，存储服务器中的任意2个磁盘的条带使用量的差异不超过1；确定出各个条带的校验数据块的数据内容以完成存储服务器的数据迁移，且针对c个条带中未被选取为待迁移条带的c‑n个条带，通过纠删码的增量更新的方式，确定出c‑n个条带的校验数据块的数据内容。应用本申请的方案，可以有效地进行存储服务器的数据迁移，保障了负载均衡，且能够提高数据迁移效率。

Description

一种存储服务器的数据迁移方法、系统、设备及存储介质
技术领域
本发明涉及编码技术领域，特别是涉及一种存储服务器的数据迁移方法、系统、设备及存储介质。
背景技术
目前，面对海量数据的存储需求，分布式存储得到了广泛的应用。分布式存储系统中的节点数量较多，单个节点的可靠性通常不会很高，且由于软硬件故障，人为失误等原因，导致系统常常发生节点失效的情况。因此，为了提高分布式存储系统的数据可靠性，实现原始文件的重构，会在存储原始数据的基础上，额外存储一定数量的数据冗余，使得在出现部分节点失效的情况下，仍然可以对原始文件实现解码恢复，保障系统的正常运行。
EC（Erasure Code，纠删码）是编码理论中的一种向前纠错技术，可以在保证相同可靠性的前提下有效地降低存储开销，被广泛地应用于各大存储系统以及数据中心。纠删码的种类众多，RS码（Reed-Solomon Code，里德所罗门码）是实际存储系统中较常见的一种。RS码将k个数据块编码为r个额外的校验块。而这r个校验块基于范德蒙矩阵或柯西矩阵进行编码的获得方式就称为利用范德蒙矩阵或柯西矩阵编码的RS纠删码，可以表示为：
Figure 763528DEST_PATH_IMAGE001
公式（1）
Figure 612535DEST_PATH_IMAGE002
公式（2）
其中，公式（1）表示的是采用范德蒙矩阵进行RS编码，公式（2）表示的是采用柯西矩阵进行RS编码。以公式（1）为例，范德蒙矩阵上部分表示的是k*k的单位矩阵，该单位矩阵与原始数据D1至Dk相乘，得到的结果仍然是原始数据D1至Dk。下部分的是r*k的编码矩阵，与原始数据D1至Dk相乘，得到的P1至Pr就是通过编码所得到的r个编码数据，或者称为校验数据，当D1至Pr中的至多r个数据出错或者丢失时，利用剩余数据对应矩阵的逆矩阵，与这些剩余数据相乘，便可以得到原始数据D1至Dk。例如当D1至Dr丢失时，解码过程可以表示为公式（3）。
Figure 127830DEST_PATH_IMAGE003
公式（3）
可以看出，纠删码的核心是构建一个可逆的编码矩阵，编码后利用编码的逆矩阵来恢复原始编码的数据。常见的RS纠删码使用的是柯西矩阵或范德蒙矩阵，所得到的矩阵完全可逆，并且矩阵的大小扩充简单。
无论分布式还是统一式存储，基础的硬件设备都是通用存储芯片，通用存储芯片进行存储功能控制，当完成存储数据的组建，并通过冗余校验码保护起来后，都需要面对用户在组建好存储服务器之后进行新插入磁盘的操作，此时在不改变校验量的前提下，需要对数据进行迁移。
可参阅图1a和图1b，图1a的左侧为一个已经组建好纠删组的通用存储服务器示例，该存储服务器中共有6块磁盘，其中的D为用户数据块，P为校验数据块，每行（条带）有2个P，即图1a为4+2的纠删组建方式，该组建方式例如可以基于上述公式（1）的范德蒙矩阵或公式（2）的柯西矩阵等RS纠删方式进行组建。图1a中，P的落盘位置基于左旋不对齐方式进行了负载均衡的排布。此时假设基于用户要求，或磁盘负载压力较大等原因，新插入了图1a的右侧的磁盘7和磁盘8，便需要对现有的数据进行迁移，相应的，迁移之后的每行（条带）的校验数据块也需要重新生成。可参阅图1b，数据迁移后，D5至D20，一共16块用户数据块需要移位，此外校验数据块P1’至P10’需要重新计算。通过简化算法，其中只有P1’和P2’可以增量更新，P3’至P10’所在行因为移位数据较多，即编码数据变化程度较大，因此只能重新进行编码运算得到P3’至P10’，可知这样的运算量很大，也就不利于提高数据迁移效率。
综上所述，如何有效地进行存储服务器的数据迁移，且提高数据迁移效率，是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种存储服务器的数据迁移方法、系统、设备及存储介质，以有效地进行存储服务器的数据迁移，且提高数据迁移效率。
为解决上述技术问题，本发明提供如下技术方案：
一种存储服务器的数据迁移方法，包括：
确定出存储服务器的存储信息；
在所述存储服务器新插入m个磁盘之后，根据所述存储信息，确定出待迁移的条带数量n；
按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，并从n个所述待迁移条带中选取出待迁移数据块且迁移至新插入的磁盘中，以使得迁移完成之后，所述存储服务器中的任意2个磁盘的条带使用量的差异不超过1；
确定出各个条带的校验数据块的数据内容以完成存储服务器的数据迁移，且针对c个条带中未被选取为待迁移条带的c-n个条带，通过纠删码的增量更新的方式，确定出c-n个条带的校验数据块的数据内容；
其中，n＜c，m，n，c均为正整数，c表示的是在所述存储服务器新插入m个磁盘之前，所述存储服务器的满条带使用数量。
优选的，所述确定出存储服务器的存储信息，包括：
确定出在所述存储服务器新插入m个磁盘之前的磁盘数量r，满条带使用数量c，以及单个条带的校验数据块数量p。
优选的，所述根据所述存储信息，确定出待迁移的条带数量n，包括：
判断
Figure 503317DEST_PATH_IMAGE004
是否成立；
如果成立，则确定出的待迁移的条带数量
Figure 78654DEST_PATH_IMAGE005
；
如果不成立，则确定出的待迁移的条带数量
Figure 414958DEST_PATH_IMAGE006
。
优选的，所述按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，包括：
从c个条带中选取出条带编号相邻的n个条带作为待迁移条带。
优选的，所述从c个条带中选取出条带编号相邻的n个条带作为待迁移条带，包括：
将c个条带中条带编号最高的n个条带作为选取出的待迁移条带。
优选的，所述预设迁移规则包括：
按照高条带编号优先于低条带编号，相同条带编号时，待迁移数据块所属的高磁盘编号优先于低磁盘编号的规则，从n个所述待迁移条带中依次选取出各个待迁移数据块并迁移至新插入的磁盘中；
在任意1个待迁移数据块完成迁移时，如果所述存储服务器中的任意2个磁盘的条带使用量的差异不超过1成立，则迁移完成。
优选的，在确定出存储服务器的存储信息之后，还包括：
判断在所述存储服务器新插入m个磁盘之前，是否存在未写满的条带；
如果否，则执行所述根据所述存储信息，确定出待迁移的条带数量n的操作；
如果是，则将未写满的条带视为是空条带，并执行所述根据所述存储信息，确定出待迁移的条带数量n的操作。
优选的，在所述确定出各个条带的校验数据块的数据内容之后，还包括：
验证存储服务器的数据迁移过程是否异常，如果是，则输出提示信息。
优选的，所述验证存储服务器的数据迁移过程是否异常，包括：
判断存储服务器新插入m个磁盘之前的用户数据块总数量，与插入m个磁盘并进行数据迁移之后的用户数据块总数量是否一致，如果否，则确定存储服务器的数据迁移过程异常。
优选的，在所述确定存储服务器的数据迁移过程异常之后，还包括：
进行本次数据迁移过程的事件日志记录。
优选的，所述预设迁移规则包括：
针对选取出的任意1个待迁移数据块，确定出在迁移之前，该待迁移数据块所在磁盘中的条带编号最低的校验数据块所处的条带，当该条带在新插入的m个磁盘中存在未被任意待迁移数据块占用的存储空间时，将该待迁移数据块迁移至该存储空间。
优选的，所述存储服务器为分布式存储系统中的存储服务器。
一种存储服务器的数据迁移系统，包括：
存储信息确定模块，用于确定出存储服务器的存储信息；
待迁移条带数量n确定模块，用于在所述存储服务器新插入m个磁盘之后，根据所述存储信息，确定出待迁移的条带数量n；
迁移执行模块，用于按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，并从n个所述待迁移条带中选取出待迁移数据块且迁移至新插入的磁盘中，以使得迁移完成之后，所述存储服务器中的任意2个磁盘的条带使用量的差异不超过1；
校验数据块更新模块，用于确定出各个条带的校验数据块的数据内容以完成存储服务器的数据迁移，且针对c个条带中未被选取为待迁移条带的c-n个条带，通过纠删码的增量更新的方式，确定出c-n个条带的校验数据块的数据内容；
其中，n＜c，m，n，c均为正整数，c表示的是在所述存储服务器新插入m个磁盘之前，所述存储服务器的满条带使用数量。
一种存储服务器的数据迁移设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述所述的存储服务器的数据迁移方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的存储服务器的数据迁移方法的步骤。
应用本发明实施例所提供的技术方案，并不是如传统方案中对全部数据块进行重新排布，而是会在存储服务器新插入m个磁盘之后，根据存储信息，确定出待迁移的条带数量n；n＜c，c表示的是在存储服务器新插入m个磁盘之前，存储服务器的满条带使用数量，也就是说，本申请的方案中，只会从c个条带中选取出一部分，即选取出其中的n个条带来进行迁移，因此对于剩余的n-c个条带而言，由于这些条带在原有磁盘中的用户数据块是未发生移动的，因此只需要结合迁移至新插入的m个磁盘中的数据，便可以进行纠删码的增量更新，而增量更新的运算量较小，也就有利于提高本申请的存储服务器的数据迁移效率。此外，本申请会按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，并从n个待迁移条带中选取出待迁移数据块且迁移至新插入的磁盘中，使得迁移完成之后，存储服务器中的任意2个磁盘的条带使用量的差异不超过1，也就是说，确定出待迁移的条带数量n的取值，以及预设迁移规则的设置，能够满足负载均衡的要求。此外，由于仅涉及n个条带的数据迁移，因此数据迁移量也低于传统方案，同样有利于提高数据迁移效率。
综上所述，本申请的方案可以有效地进行存储服务器的数据迁移，保障了负载均衡，且能够提高数据迁移效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为传统方案中组建好纠删组的通用存储服务器新插入磁盘的示意图；
图1b为传统方案中对图1a的情况进行数据迁移之后的迁移结果示意图；
图2为本发明中一种存储服务器的数据迁移方法的实施流程图；
图3为本发明一种具体实施方式中的存储服务器以及确定出的存储信息的示意图；
图4为本发明一种具体实施方式中迁移结果示意图；
图5为本发明中一种存储服务器的数据迁移系统的结构示意图；
图6为本发明中一种存储服务器的数据迁移设备的结构示意图。
具体实施方式
本发明的核心是提供一种存储服务器的数据迁移方法，可以有效地进行存储服务器的数据迁移，保障了负载均衡，且能够提高数据迁移效率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图2，图2为本发明中一种存储服务器的数据迁移方法的实施流程图，该存储服务器的数据迁移方法可以包括以下步骤：
步骤S201：确定出存储服务器的存储信息。
具体的，需要确定出的存储信息的具体项目可以根据需要进行设定和调整，但可以理解的是，确定出的存储服务器的存储信息，应当要能够使得后续步骤中可以据此确定出待迁移的条带数量n。
例如，在本发明的一种具体实施方式中，步骤S201可以具体包括：
确定出在存储服务器新插入m个磁盘之前的磁盘数量r，满条带使用数量c，以及单个条带的校验数据块数量p。
该种实施方式中，只需要确定出存储服务器的3个存储参数，后续便可以可以据此确定出待迁移的条带数量n，便于实施。当然，其他实施方式中，确定出的存储信息中可以包括更多内容。例如，一种具体场合中，还可以根据需要确定出存储服务器当前的磁盘空间使用情况，是否存储降级等等。
需要说明的是，在执行步骤S201时，通常可以实时或者周期性执行，即实时或者周期性地进行储服务器的存储信息的更新。因此，每当确定出存储服务器的存储信息时，确定出的r也就是存储服务器当前的磁盘数量，确定出的c也就是存储服务器当前的满条带使用数量，确定出的p也就是存储服务器当前的单个条带的校验数据块数量。
步骤S202：在存储服务器新插入m个磁盘之后，根据存储信息，确定出待迁移的条带数量n。
在存储服务器新插入m个磁盘之后，本申请便会进行数据的迁移以保障负载均衡，而本申请并不是将所有用户数据块均进行迁移，而是会确定出待迁移的条带数量n，后续便只会从n个待迁移条带中选取出待迁移数据块来进行迁移。也就是说，对于存储服务器原有的r个磁盘而言，在这c-n个条带中的用户数据块并不需要迁移。
n为小于c的正整数，由于后续在进行迁移之后需要保障负载均衡，因此n是一个已知待求值，即，当存储服务器的存储信息以及新插入的磁盘数m确定之后，为了达到数据迁移之后的负载均衡，即，为了能够满足“迁移完成之后，存储服务器中的任意2个磁盘的条带使用量的差异不超过1”，待迁移的条带数量n便是一个确定的数值。
当然，确定出待迁移的条带数量n的具体计算方式有多种。例如在本发明的一种具体实施方式中，步骤S202中描述的根据存储信息，确定出待迁移的条带数量n，可以具体包括：
判断
Figure 733944DEST_PATH_IMAGE004
是否成立；
如果成立，则确定出的待迁移的条带数量
Figure 714669DEST_PATH_IMAGE005
；
如果不成立，则确定出的待迁移的条带数量
Figure 460908DEST_PATH_IMAGE006
。
便于理解，以图3为例，在存储服务器新插入m个磁盘之前，磁盘数量r为6，新插入的磁盘数量m为2，单个条带的校验数据块数量p为2，满条带使用数量c为5。
需要强调的是，c表示的是满条带使用数量，假设除了图3中现有的5个满条带之外，还有一个条带6未写满，则此未写满的条带不参与运算，这种情况在实际的存储服务器组建中很少出现。
在图3的实施方式中，c*m=5*2=10，表示的是新插入的磁盘中的存储空间，即chunk （块）的数量，也即图6中的10个空白格子。由于p=2，因此（c*m）/（r-p+m）=10/6=1.67，对1.67 向下取整结果为1，1.67-1=0.67。最后，判断0.67*（6-2）是否大于m，由于0.67*（6-2）=2.68， 2.68大于2，因此确定出的待迁移的条带数量
Figure 18929DEST_PATH_IMAGE005
，即n=1+1=2。也就是说，对 于图3的实施方式，确定出的待迁移的条带数量为2。
步骤S203：按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，并从n个待迁移条带中选取出待迁移数据块且迁移至新插入的磁盘中，以使得迁移完成之后，存储服务器中的任意2个磁盘的条带使用量的差异不超过1。
在确定出待迁移的条带数量n之后，便需要从c个条带中选取出n个条带作为待迁移条带，可以按照预设迁移规则进行选取，具体的选取方式可以根据需要设定，并且需要说明的是，理论上来说，从c个条带中任意选取出n个条带作为待迁移条带，都不影响本发明的实施。
进一步的，在本发明的一种具体实施方式中，步骤S203中描述的按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，可以具体包括：
从c个条带中选取出条带编号相邻的n个条带作为待迁移条带。
如上文描述，理论上来说，从c个条带中任意选取出n个条带作为待迁移条带，都不影响本发明的实施。但该种实施方式进一步的考虑到，在选取出n个条带作为待迁移条带时，选取方式不同，在执行步骤S203中的“从n个待迁移条带中选取出待迁移数据块且迁移至新插入的磁盘中”时，程序便需要相适应地设计，而如果从c个条带中选取出的是条带编号相邻的n个条带作为待迁移条带，相较于间隔选取n个条带，程序设计可以更加方便，也不容易出错。因此，该种实施方式中，预设迁移规则中便包括：从c个条带中选取出条带编号相邻的n个条带作为待迁移条带。
进一步的，在本发明的一种具体实施方式中，从c个条带中选取出条带编号相邻的n个条带作为待迁移条带，具体包括：
将c个条带中条带编号最高的n个条带作为选取出的待迁移条带。
该种实施方式进一步考虑到，将c个条带中条带编号最高的n个条带作为选取出的待迁移条带，可参阅图4，相当于是将下部分的数据往上移动，后续可以较为方便的判断出是否达到了“存储服务器中的任意2个磁盘的条带使用量的差异不超过1”的结束迁移的这一触发条件，并且，也方便进行迁移规则的设计。即，由于是条带编号最高的n个条带作为选取出的待迁移条带，使得后续可以逐行地从下往上迁移，程序设计不容易出错，方便设计，也就便于实施。
选取出n个待迁移条带之后，便可以按照预设迁移规则，并从n个待迁移条带中选取出待迁移数据块且迁移至新插入的磁盘中。选取出待迁移数据块的具体方式可以任意设定，即便是任意选取，也均不影响本发明的实施。当然，实际应用中，按序选取不容易出错，且由于迁移之后需要进行数据块的地址调整，因此，通常都会按设定顺序选取出待迁移数据块从而迁移至新插入的m个磁盘中。
例如，在本发明的一种具体实施方式中，预设的迁移规则可以具体包括：
按照高条带编号优先于低条带编号，相同条带编号时，待迁移数据块所属的高磁盘编号优先于低磁盘编号的规则，从n个待迁移条带中依次选取出各个待迁移数据块并迁移至新插入的磁盘中；
在任意1个待迁移数据块完成迁移时，如果存储服务器中的任意2个磁盘的条带使用量的差异不超过1成立，则迁移完成。
如上文的描述，该种实施方式中考虑到将c个条带中条带编号最高的n个条带作为选取出的待迁移条带，因此，为了有序地迁移，是按照高条带编号优先于低条带编号的规则进行迁移，从而可以按序进行待迁移数据块的选取以及地址的调整。需要说明的是，待迁移数据块均为用户数据块，校验数据块无需迁移，只需要进行更新或者删除即可。
当条带编号相同时，该种实施方式是按照待迁移数据块所属的高磁盘编号优先于低磁盘编号的规则，进行待迁移数据块的选取。
当任意1个待迁移数据块完成迁移时，“存储服务器中的任意2个磁盘的条带使用量的差异不超过1”这一条件成立，便可以无需继续迁移，后续只需要更新校验数据块即可结束。
步骤S204：确定出各个条带的校验数据块的数据内容以完成存储服务器的数据迁移，且针对c个条带中未被选取为待迁移条带的c-n个条带，通过纠删码的增量更新的方式，确定出c-n个条带的校验数据块的数据内容；
对于对c个条带中未被选取为待迁移条带的c-n个条带，存储服务器原有的r个磁盘在这c-n个条带中的用户数据块并不迁移，因此，按照纠删码的计算规则可知，对于c-n个条带，通过纠删码的增量更新的方式，便可以确定出c-n个条带的校验数据块的数据内容，增量更新的方式计算量较低。
在本发明的一种具体实施方式中，预设迁移规则包括：
针对选取出的任意1个待迁移数据块，确定出在迁移之前，该待迁移数据块所在磁盘中的条带编号最低的校验数据块所处的条带，当该条带在新插入的m个磁盘中存在未被任意待迁移数据块占用的存储空间时，将该待迁移数据块迁移至该存储空间。
为了便于描述，仍然以图4为例，且例如是将c个条带中条带编号最高的n个条带作为选取出的待迁移条带，并且在选取待迁移数据块时，例如按照上文实施例中的高条带编号优先，相同条带编号时高磁盘编号优先的规则。
该种实施方式，对待迁移数据块放置入新插入的m个磁盘中进行了位置的限制，有利于提高更新纠删码的计算效率。
具体的，图4的实施方式中，按照上述的预设迁移规则，会先将D20，再将D19作为选取出的待迁移数据块。对于用户数据块D20而言，该待迁移数据块所在磁盘为磁盘6，磁盘6中的条带编号最低的校验数据块为P2，P2所处的条带为条带1。条带1在新插入的2个磁盘中存在2个数据块空间，都未被任意待迁移数据块占用，因此，可以将待迁移数据块D20迁入磁盘7或磁盘8中的条带1，例如图4的场合中，待迁移数据块D20是迁移至磁盘8的条带1中。
在D20迁移完毕之后，将D19作为选取出的待迁移数据块。D19所在磁盘为磁盘5，磁盘5中的条带编号最低的校验数据块为P1，P1所处的条带为条带1。此时，条带1在新插入的2个磁盘中只存在1个数据块空间未被任意待迁移数据块占用，因此，可以将待迁移数据块D19迁入至磁盘7的条带1中。
在D19迁移完毕之后，依次将D18和D17作为选取出的待迁移数据块，按照同样的规则，D18对应P6，则将D18迁入至磁盘8的条带3中，D17对应P5，则将D17迁入至磁盘7的条带3中。
最后，将D16和D15作为选取出的待迁移数据块，D16对应P4，则将D16迁入至磁盘8的条带2中，D15对应P3，则将D15迁入至磁盘7的条带2中。在D15迁移完毕之后，“存储服务器中的任意2个磁盘的条带使用量的差异不超过1”这一条件成立，因此，剩余的D13和D14无需迁移。
由于RS码或者或RAID算法在实现存储纠删功能时，其参数基于位置信息决定，因此对于任意k个数据块和r个校验块的需求，纠删码的的通用算法关系可以总结为：
Figure 141605DEST_PATH_IMAGE007
。其中的参数项
Figure 226105DEST_PATH_IMAGE008
至
Figure 143245DEST_PATH_IMAGE009
例如便可 以选取上文公式（1）中的范德蒙矩阵的编码矩阵或者公式（2）中的柯西矩阵的编码矩阵。
具体到图4的实施方式中，在存储服务器新插入m个磁盘之前，P1和P2可以表示为：
Figure 454141DEST_PATH_IMAGE010
。在按照图4的实施方式迁移之后，P1′和 P2′可以表示为：
Figure 114929DEST_PATH_IMAGE011
。
也就是说，
Figure 663722DEST_PATH_IMAGE012
。因此可以看出，通过原有的P1 和P2，再结合D19和D20，便可以完成条带1中的纠删码的增量更新。而P1和D19都来自于磁盘 5，P2和D20都来自于磁盘6，因此，只需要从两个磁盘中便可以读取出用于进行条带1中的纠 删码的增量更新所需要的4个数据块，相较于从不同的4个磁盘中读取4个数据块的方式，有 利于降低数据读取耗时，也就有利于提高更新纠删码的计算效率。
此外的，本申请的存储服务器可以适用于统一存储，也可以适用于分布式存储。特别是在分布式存储中，即存储服务器为分布式存储系统中的存储服务器时，跨节点读取数据的耗时会更长，也容易出错，该种实施方式尽量地从同一磁盘中读取所需要的数据，即降低了跨节点读取数据的概率，优势更为明显。
此外，RS编码使用的是伽罗华域GF，因此上面的
Figure 158289DEST_PATH_IMAGE013
为伽罗华域的加法，在计算机 中通常为异或。
同样的，在图4的实施方式中，在存储服务器新插入m个磁盘之前，P3和P4可以表示 为：
Figure 143431DEST_PATH_IMAGE014
。在按照图4的实施方式迁移之后，P3′ 和P4′可以表示为：
Figure 483277DEST_PATH_IMAGE015
。
因此可以看出，通过原有的P3和P4，再结合D15和D16，便可以完成条带2中的纠删码的增量更新。同样的，P3和D15都来自于磁盘3，P4和D16都来自于磁盘4，有利于降低数据读取耗时，也就有利于提高更新纠删码的计算效率。
此外，在图4的实施方式中，由于条带4中仍有数据，即还剩D13和D14未迁移，因此 也需要确定出该条带的校验数据块的数据内容。由于图4中的校验数据块采用的是左旋不 对齐方式进行了排布，因此，对于条带4而言，确定出的校验数据块P7′和P8′可以表示为：
Figure 417735DEST_PATH_IMAGE016
，并置入磁盘7和磁盘8中。其他场合中，校验数据块也可以采 用左旋不对齐之外的其他方式进行排布，并不影响本发明的实施。
此外需要说明的是，在进行各个条带的纠删码的计算时，可以采用同样的编码矩阵，也可以采用不同的编码矩阵，当然，实际应用中通常都会采用同样的编码矩阵。
在本发明的一种具体实施方式中，在确定出存储服务器的存储信息之后，可以还包括：
判断在存储服务器新插入m个磁盘之前，是否存在未写满的条带；
如果否，则执行根据存储信息，确定出待迁移的条带数量n的操作；
如果是，则将未写满的条带视为是空条带，并执行根据存储信息，确定出待迁移的条带数量n的操作。
正如上文的描述，本申请的c表示的是满条带使用数量，以图3为例，假设除了图3中现有的5个满条带之外，还有一个条带6未写满，则此未写满的条带不参与运算，虽然这种情况在实际的存储服务器组建中很少出现，但该种实施方式中，考虑到该种情况出现时，为了避免本申请方案执行异常，会在判断出存在未写满的条带之后，将未写满的条带视为是空条带，再执行步骤S201的操作。
将未写满的条带视为是空条带，也就可以直接忽略掉该条带，不移动该条带中的任意数据块，当然，后续在判断“存储服务器中的任意2个磁盘的条带使用量的差异不超过1”是否成立时，也是将该条带视为是空条带。
在本发明的一种具体实施方式中，在步骤S204之后，还可以包括：
验证存储服务器的数据迁移过程是否异常，如果是，则输出提示信息。
该种实施方式中，会验证存储服务器的数据迁移过程是否异常，从而提高本申请方案的可靠性，即通过输出的提示信息可以尽早地发现异常情况，从而及早进行修复，避免故障情况加重。
验证存储服务器的数据迁移过程是否异常的方式也可以有多种，例如在本发明的一种具体实施方式中，验证存储服务器的数据迁移过程是否异常，可以具体包括：
判断存储服务器新插入m个磁盘之前的用户数据块总数量，与插入m个磁盘并进行数据迁移之后的用户数据块总数量是否一致，如果否，则确定存储服务器的数据迁移过程异常。
该种实施方式考虑到，存储服务器新插入m个磁盘之前的用户数据块总数量，与插入m个磁盘并进行数据迁移之后的用户数据块总数量应当是一致的，如果不一致，便可以确定存储服务器的数据迁移过程异常，例如由于通信故障，新插入的m个磁盘中若干个接触不良等原因，导致部分用户数据块并未成功迁移到新插入的磁盘中。
该种实施方式通过用户数据块的总数量是否保持一致来确定存储服务器的数据迁移过程异常，较为方便，因为验证用户数据块的总数量的耗时很短，也不会占用过多的资源。
进一步的，在确定存储服务器的数据迁移过程异常之后，还可以包括：
进行本次数据迁移过程的事件日志记录，以便于协助工作人员进行异常事件的处理，分析异常产生的原因进而采用相应对策，以避免或降低后续再出现此类异常的概率。
应用本发明实施例所提供的技术方案，并不是如传统方案中对全部数据块进行重新排布，而是会在存储服务器新插入m个磁盘之后，根据存储信息，确定出待迁移的条带数量n；n＜c，c表示的是在存储服务器新插入m个磁盘之前，存储服务器的满条带使用数量，也就是说，本申请的方案中，只会从c个条带中选取出一部分，即选取出其中的n个条带来进行迁移，因此对于剩余的n-c个条带而言，由于这些条带在原有磁盘中的用户数据块是未发生移动的，因此只需要结合迁移至新插入的m个磁盘中的数据，便可以进行纠删码的增量更新，而增量更新的运算量较小，也就有利于提高本申请的存储服务器的数据迁移效率。此外，本申请会按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，并从n个待迁移条带中选取出待迁移数据块且迁移至新插入的磁盘中，使得迁移完成之后，存储服务器中的任意2个磁盘的条带使用量的差异不超过1，也就是说，确定出待迁移的条带数量n的取值，以及预设迁移规则的设置，能够满足负载均衡的要求。此外，由于仅涉及n个条带的数据迁移，因此数据迁移量也低于传统方案，同样有利于提高数据迁移效率。
综上所述，本申请的方案可以有效地进行存储服务器的数据迁移，保障了负载均衡，且能够提高数据迁移效率。
相应于上面的方法实施例，本发明实施例还提供了一种存储服务器的数据迁移系统，可与上文相互对应参照。
可参阅图5，为本发明中一种存储服务器的数据迁移系统的结构示意图，包括：
存储信息确定模块501，用于确定出存储服务器的存储信息；
待迁移条带数量n确定模块502，用于在存储服务器新插入m个磁盘之后，根据存储信息，确定出待迁移的条带数量n；
迁移执行模块503，用于按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，并从n个待迁移条带中选取出待迁移数据块且迁移至新插入的磁盘中，以使得迁移完成之后，存储服务器中的任意2个磁盘的条带使用量的差异不超过1；
校验数据块更新模块504，用于确定出各个条带的校验数据块的数据内容以完成存储服务器的数据迁移，且针对c个条带中未被选取为待迁移条带的c-n个条带，通过纠删码的增量更新的方式，确定出c-n个条带的校验数据块的数据内容；
其中，n＜c，m，n，c均为正整数，c表示的是在存储服务器新插入m个磁盘之前，存储服务器的满条带使用数量。
在本发明的一种具体实施方式中，存储信息确定模块501，具体用于：
确定出在存储服务器新插入m个磁盘之前的磁盘数量r，满条带使用数量c，以及单个条带的校验数据块数量p。
待迁移条带数量n确定模块502，具体用于：
判断
Figure 942257DEST_PATH_IMAGE004
是否成立；
如果成立，则确定出的待迁移的条带数量
Figure 86799DEST_PATH_IMAGE005
；
如果不成立，则确定出的待迁移的条带数量
Figure 89391DEST_PATH_IMAGE006
。
在本发明的一种具体实施方式中，按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，包括：
从c个条带中选取出条带编号相邻的n个条带作为待迁移条带。
在本发明的一种具体实施方式中，从c个条带中选取出条带编号相邻的n个条带作为待迁移条带，包括：
将c个条带中条带编号最高的n个条带作为选取出的待迁移条带。
在本发明的一种具体实施方式中，预设迁移规则包括：
按照高条带编号优先于低条带编号，相同条带编号时，待迁移数据块所属的高磁盘编号优先于低磁盘编号的规则，从n个待迁移条带中依次选取出各个待迁移数据块并迁移至新插入的磁盘中；
在任意1个待迁移数据块完成迁移时，如果存储服务器中的任意2个磁盘的条带使用量的差异不超过1成立，则迁移完成。
在本发明的一种具体实施方式中，在存储信息确定模块501确定出存储服务器的存储信息之后，还包括第一判断模块，用于：
判断在存储服务器新插入m个磁盘之前，是否存在未写满的条带；
如果否，则触发待迁移条带数量n确定模块502；
如果是，则将未写满的条带视为是空条带，并触发待迁移条带数量n确定模块502。
在本发明的一种具体实施方式中，在校验数据块更新模块504确定出各个条带的校验数据块的数据内容之后，还包括验证模块，用于：
验证存储服务器的数据迁移过程是否异常，如果是，则输出提示信息。
在本发明的一种具体实施方式中，验证模块具体用于：
判断存储服务器新插入m个磁盘之前的用户数据块总数量，与插入m个磁盘并进行数据迁移之后的用户数据块总数量是否一致，如果否，则确定存储服务器的数据迁移过程异常，输出提示信息。
在本发明的一种具体实施方式中，验证模块还用于：
进行本次数据迁移过程的事件日志记录。
在本发明的一种具体实施方式中，预设迁移规则包括：
针对选取出的任意1个待迁移数据块，确定出在迁移之前，该待迁移数据块所在磁盘中的条带编号最低的校验数据块所处的条带，当该条带在新插入的m个磁盘中存在未被任意待迁移数据块占用的存储空间时，将该待迁移数据块迁移至该存储空间。
在本发明的一种具体实施方式中，存储服务器为分布式存储系统中的存储服务器。
相应于上面的方法和系统实施例，本发明实施例还提供了一种存储服务器的数据迁移设备以及一种计算机可读存储介质，可参阅图6，该存储服务器的数据迁移设备可以包括：
存储器601，用于存储计算机程序；
处理器602，用于执行计算机程序以实现如上述任一实施例中的存储服务器的数据迁移方法的步骤。
该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例中的存储服务器的数据迁移方法的步骤。这里所说的计算机可读存储介质包括随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明的保护范围内。

Claims (13)

1.一种存储服务器的数据迁移方法，其特征在于，包括：
确定出存储服务器的存储信息；
在所述存储服务器新插入m个磁盘之后，根据所述存储信息，确定出待迁移的条带数量n；
按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，并从n个所述待迁移条带中选取出待迁移数据块且迁移至新插入的磁盘中，以使得迁移完成之后，所述存储服务器中的任意2个磁盘的条带使用量的差异不超过1；
确定出各个条带的校验数据块的数据内容以完成存储服务器的数据迁移，且针对c个条带中未被选取为待迁移条带的c-n个条带，通过纠删码的增量更新的方式，确定出c-n个条带的校验数据块的数据内容；
其中，n＜c，m，n，c均为正整数，c表示的是在所述存储服务器新插入m个磁盘之前，所述存储服务器的满条带使用数量；
所述确定出存储服务器的存储信息，包括：
确定出在所述存储服务器新插入m个磁盘之前的磁盘数量r，满条带使用数量c，以及单个条带的校验数据块数量p；
在确定出存储服务器的存储信息之后，还包括：
判断在所述存储服务器新插入m个磁盘之前，是否存在未写满的条带；
如果否，则执行所述根据所述存储信息，确定出待迁移的条带数量n的操作；
如果是，则将未写满的条带视为是空条带，并执行所述根据所述存储信息，确定出待迁移的条带数量n的操作。
2.根据权利要求1所述的一种存储服务器的数据迁移方法，其特征在于，所述根据所述存储信息，确定出待迁移的条带数量n，包括：
判断
Figure DEST_PATH_IMAGE002
是否成立；
如果成立，则确定出的待迁移的条带数量
Figure DEST_PATH_IMAGE004
；
如果不成立，则确定出的待迁移的条带数量
Figure DEST_PATH_IMAGE006
。
3.根据权利要求1所述的一种存储服务器的数据迁移方法，其特征在于，所述按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，包括：
从c个条带中选取出条带编号相邻的n个条带作为待迁移条带。
4.根据权利要求3所述的一种存储服务器的数据迁移方法，其特征在于，所述从c个条带中选取出条带编号相邻的n个条带作为待迁移条带，包括：
将c个条带中条带编号最高的n个条带作为选取出的待迁移条带。
5.根据权利要求4所述的一种存储服务器的数据迁移方法，其特征在于，所述预设迁移规则包括：
按照高条带编号优先于低条带编号，相同条带编号时，待迁移数据块所属的高磁盘编号优先于低磁盘编号的规则，从n个所述待迁移条带中依次选取出各个待迁移数据块并迁移至新插入的磁盘中；
在任意1个待迁移数据块完成迁移时，如果所述存储服务器中的任意2个磁盘的条带使用量的差异不超过1成立，则迁移完成。
6.根据权利要求1所述的一种存储服务器的数据迁移方法，其特征在于，在所述确定出各个条带的校验数据块的数据内容之后，还包括：
验证存储服务器的数据迁移过程是否异常，如果是，则输出提示信息。
7.根据权利要求6所述的一种存储服务器的数据迁移方法，其特征在于，所述验证存储服务器的数据迁移过程是否异常，包括：
判断存储服务器新插入m个磁盘之前的用户数据块总数量，与插入m个磁盘并进行数据迁移之后的用户数据块总数量是否一致，如果否，则确定存储服务器的数据迁移过程异常。
8.根据权利要求6所述的一种存储服务器的数据迁移方法，其特征在于，在确定存储服务器的数据迁移过程异常之后，还包括：
进行本次数据迁移过程的事件日志记录。
9.根据权利要求1至8任一项所述的一种存储服务器的数据迁移方法，其特征在于，所述预设迁移规则包括：
针对选取出的任意1个待迁移数据块，确定出在迁移之前，该待迁移数据块所在磁盘中的条带编号最低的校验数据块所处的条带，当该条带在新插入的m个磁盘中存在未被任意待迁移数据块占用的存储空间时，将该待迁移数据块迁移至该存储空间。
10.根据权利要求9所述的一种存储服务器的数据迁移方法，其特征在于，所述存储服务器为分布式存储系统中的存储服务器。
11.一种存储服务器的数据迁移系统，其特征在于，包括：
存储信息确定模块，用于确定出存储服务器的存储信息；
待迁移条带数量n确定模块，用于在所述存储服务器新插入m个磁盘之后，根据所述存储信息，确定出待迁移的条带数量n；
迁移执行模块，用于按照预设迁移规则从c个条带中选取出n个条带作为待迁移条带，并从n个所述待迁移条带中选取出待迁移数据块且迁移至新插入的磁盘中，以使得迁移完成之后，所述存储服务器中的任意2个磁盘的条带使用量的差异不超过1；
校验数据块更新模块，用于确定出各个条带的校验数据块的数据内容以完成存储服务器的数据迁移，且针对c个条带中未被选取为待迁移条带的c-n个条带，通过纠删码的增量更新的方式，确定出c-n个条带的校验数据块的数据内容；
其中，n＜c，m，n，c均为正整数，c表示的是在所述存储服务器新插入m个磁盘之前，所述存储服务器的满条带使用数量；
所述存储信息确定模块，具体用于：
确定出在所述存储服务器新插入m个磁盘之前的磁盘数量r，满条带使用数量c，以及单个条带的校验数据块数量p；
在所述存储信息确定模块确定出存储服务器的存储信息之后，还包括第一判断模块，用于：
判断在所述存储服务器新插入m个磁盘之前，是否存在未写满的条带；
如果否，则触发所述待迁移条带数量n确定模块；
如果是，则将未写满的条带视为是空条带，并触发所述待迁移条带数量n确定模块。
12.一种存储服务器的数据迁移设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至10任一项所述的存储服务器的数据迁移方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的存储服务器的数据迁移方法的步骤。
CN202210759836.4A 2022-06-30 2022-06-30 一种存储服务器的数据迁移方法、系统、设备及存储介质 Active CN114816278B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210759836.4A CN114816278B (zh) 2022-06-30 2022-06-30 一种存储服务器的数据迁移方法、系统、设备及存储介质
PCT/CN2022/141684 WO2024001112A1 (zh) 2022-06-30 2022-12-23 一种存储服务器的数据迁移方法、系统、设备及非易失性可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210759836.4A CN114816278B (zh) 2022-06-30 2022-06-30 一种存储服务器的数据迁移方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114816278A CN114816278A (zh) 2022-07-29
CN114816278B true CN114816278B (zh) 2022-11-11

Family

ID=82523426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210759836.4A Active CN114816278B (zh) 2022-06-30 2022-06-30 一种存储服务器的数据迁移方法、系统、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114816278B (zh)
WO (1) WO2024001112A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114816278B (zh) * 2022-06-30 2022-11-11 苏州浪潮智能科技有限公司 一种存储服务器的数据迁移方法、系统、设备及存储介质
CN115712390B (zh) * 2022-11-14 2023-05-09 安超云软件有限公司 可用数据条带分片数确定方法及系统
CN115599315B (zh) * 2022-12-14 2023-04-07 阿里巴巴（中国）有限公司 数据处理方法、装置、系统、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046763A (ja) * 2006-08-11 2008-02-28 Toshiba Corp ディスクアレイサブシステム及びプログラム
CN106293526A (zh) * 2016-08-05 2017-01-04 上海交通大学 一种三盘容错阵列的可扩展方法及系统
CN108255413A (zh) * 2016-12-29 2018-07-06 华为技术有限公司 一种存储系统扩容后数据迁移的方法、存储系统
CN108932256A (zh) * 2017-05-25 2018-12-04 中兴通讯股份有限公司 分布式数据重分布控制方法、装置及数据管理服务器
CN111831223A (zh) * 2020-06-19 2020-10-27 华中科技大学 提高数据去重系统可扩展性的容错编码方法、装置及系统
CN111880751A (zh) * 2020-09-28 2020-11-03 浙江大华技术股份有限公司 一种硬盘迁移方法、分布式存储集群系统和存储介质
CN112463050A (zh) * 2020-11-26 2021-03-09 新华三技术有限公司成都分公司 一种存储系统扩容方法、装置、设备及机器可读存储介质
CN112764680A (zh) * 2021-01-20 2021-05-07 华云数据控股集团有限公司 磁盘条带选择方法及存储系统
CN112799604A (zh) * 2021-03-18 2021-05-14 河北工业大学 一种基于N-Code的RAID6磁盘阵列扩容方法及数据填充方法
CN114115729A (zh) * 2021-10-29 2022-03-01 山东云海国创云计算装备产业创新中心有限公司 一种raid下的高效数据迁移方法
CN114217740A (zh) * 2021-11-30 2022-03-22 浙江大华技术股份有限公司 一种存储管理方法、设备、系统和计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996689B2 (en) * 2003-04-16 2006-02-07 Lsi Logic Corporation Systems and methods for striped storage migration
US20190235777A1 (en) * 2011-10-11 2019-08-01 Donglin Wang Redundant storage system
US10782898B2 (en) * 2016-02-03 2020-09-22 Surcloud Corp. Data storage system, load rebalancing method thereof and access control method thereof
US9569136B2 (en) * 2015-04-29 2017-02-14 International Business Machines Corporation Smart load balancing replication when adding or removing storage disks in a distributed storage system
CN111857553A (zh) * 2019-04-30 2020-10-30 伊姆西Ip控股有限责任公司 管理盘阵列的方法、装置和计算机程序产品
CN114816278B (zh) * 2022-06-30 2022-11-11 苏州浪潮智能科技有限公司 一种存储服务器的数据迁移方法、系统、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046763A (ja) * 2006-08-11 2008-02-28 Toshiba Corp ディスクアレイサブシステム及びプログラム
CN106293526A (zh) * 2016-08-05 2017-01-04 上海交通大学 一种三盘容错阵列的可扩展方法及系统
CN108255413A (zh) * 2016-12-29 2018-07-06 华为技术有限公司 一种存储系统扩容后数据迁移的方法、存储系统
CN108932256A (zh) * 2017-05-25 2018-12-04 中兴通讯股份有限公司 分布式数据重分布控制方法、装置及数据管理服务器
CN111831223A (zh) * 2020-06-19 2020-10-27 华中科技大学 提高数据去重系统可扩展性的容错编码方法、装置及系统
CN111880751A (zh) * 2020-09-28 2020-11-03 浙江大华技术股份有限公司 一种硬盘迁移方法、分布式存储集群系统和存储介质
CN112463050A (zh) * 2020-11-26 2021-03-09 新华三技术有限公司成都分公司 一种存储系统扩容方法、装置、设备及机器可读存储介质
CN112764680A (zh) * 2021-01-20 2021-05-07 华云数据控股集团有限公司 磁盘条带选择方法及存储系统
CN112799604A (zh) * 2021-03-18 2021-05-14 河北工业大学 一种基于N-Code的RAID6磁盘阵列扩容方法及数据填充方法
CN114115729A (zh) * 2021-10-29 2022-03-01 山东云海国创云计算装备产业创新中心有限公司 一种raid下的高效数据迁移方法
CN114217740A (zh) * 2021-11-30 2022-03-22 浙江大华技术股份有限公司 一种存储管理方法、设备、系统和计算机可读存储介质

Also Published As

Publication number Publication date
WO2024001112A1 (zh) 2024-01-04
CN114816278A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114816278B (zh) 一种存储服务器的数据迁移方法、系统、设备及存储介质
Corbett et al. Row-diagonal parity for double disk failure correction
CN103699494B (zh) 一种数据存储方法、数据存储设备和分布式存储系统
JP4668970B2 (ja) フォールトトレラントデータストレージシステムにおけるブロックレベルのデータ破損の検出および訂正
CN114281270B (zh) 一种数据存储方法、系统、设备以及介质
EP1324200A2 (en) Row-diagonal parity technique for enabling efficient recovery from double failures in a storage array
CN108874576B (zh) 一种基于纠错编码的数据存储系统
CN115080303B (zh) Raid6磁盘阵列的编码方法、解码方法、装置及介质
CN114153651B (zh) 一种数据编码方法、装置、设备及介质
CN114816837B (zh) 一种纠删码融合方法、系统、电子设备及存储介质
CN116501553B (zh) 数据恢复方法、装置、系统、电子设备及存储介质
CN114168087B (zh) 校验数据生成方法、装置、设备及存储介质
WO2023184911A1 (zh) 一种数据存储方法、装置、设备及非易失性可读存储介质
CN114546272A (zh) 快速通用的raid降级为raid5的方法、系统、设备和存储介质
CN114116297B (zh) 一种数据编码方法、装置、设备及介质
CN114115729B (zh) 一种raid下的高效数据迁移方法
CN113258936B (zh) 一种基于循环移位的双重编码的构造方法
CN115543693B (zh) 数据恢复方法及相关设备
CN109947587B (zh) 非均匀故障保护的分组修复码构造方法及故障修复方法
WO2023184843A1 (zh) 一种raid编解码方法、装置、设备及可读存储介质
CN114416437B (zh) 一种自适应冗余级别的数据存储方法
CN114996047A (zh) 一种数据存储方法、系统、设备以及介质
EP4369201A1 (en) Data processing method and apparatus
CN113258938B (zh) 一种单节点故障快速修复纠删码的构造方法
WO2017158430A1 (en) Coding technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant