CN109460188A - 一种数据迁移方法、系统、设备及计算机可读存储介质 - Google Patents

一种数据迁移方法、系统、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109460188A
CN109460188A CN201811348048.6A CN201811348048A CN109460188A CN 109460188 A CN109460188 A CN 109460188A CN 201811348048 A CN201811348048 A CN 201811348048A CN 109460188 A CN109460188 A CN 109460188A
Authority
CN
China
Prior art keywords
migrated
data
data block
old disk
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811348048.6A
Other languages
English (en)
Inventor
许银龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811348048.6A priority Critical patent/CN109460188A/zh
Publication of CN109460188A publication Critical patent/CN109460188A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0623—Securing storage systems in relation to content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据迁移方法、系统、设备及计算机可读存储介质，应用于分布式存储系统中，该方法包括：在分布式存储系统中确定出进行数据迁移的旧磁盘；将旧磁盘中的待迁移数据进行分组，得到待迁移数据块；在旧磁盘中选取一个待迁移数据块，对选取的待迁移数据块进行迁移；在对选取的待迁移数据块完成迁移后，在旧磁盘中删除待迁移数据块；返回在旧磁盘中选取一个待迁移数据块的步骤，直至完成对旧磁盘的数据迁移。本申请公开的一种数据迁移方法，降低了因旧磁盘无法写入新数据而导致数据迁移失败的风险，提高了数据迁移成功率。本申请提供的一种数据迁移系统、设备及计算机可读存储介质也解决了相应技术问题。

Description

一种数据迁移方法、系统、设备及计算机可读存储介质
技术领域
本申请涉及存储技术领域，更具体地说，涉及一种数据迁移方法、系统、设备及计算机可读存储介质。
背景技术
随着云计算技术的兴起和普及，分布式存储系统越来越受到业界的关注。在分布式存储系统的运维工程中，可能遇到分布式存储系统空间使用率已达告警水位，此时需进行扩容，也即需进行数据迁移。
现有的一种数据迁移方法是：将旧磁盘中的数据全部迁移至新磁盘，之后删除旧磁盘中的数据。
然而，在将旧磁盘中的数据全部迁移至新磁盘中的过程中，旧磁盘可能需要存储新数据，然而，这时旧磁盘依旧是满磁盘，无法写入新数据，由此使得数据迁移失败。
综上所述，如何提高数据迁移的成功率是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种数据迁移方法，其能在一定程度上解决如何提高数据迁移的成功率的技术问题。本申请还提供了一种数据迁移系统、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种数据迁移方法，应用于分布式存储系统中，包括：
在所述分布式存储系统中确定出进行数据迁移的旧磁盘；
将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
在所述旧磁盘中选取一个所述待迁移数据块，对选取的所述待迁移数据块进行迁移；
在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块；
返回所述在所述旧磁盘中选取一个所述待迁移数据块的步骤，直至完成对所述旧磁盘的数据迁移。
优选的，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：
获取数据迁移速率及预设时间长度，所述预设时间长度包括单次进行数据迁移时所允许耗费的时长；
基于所述数据迁移速率及所述预设时间长度确定单次进行数据迁移时所迁移的目标数据量；
将所述旧磁盘中的待迁移数据进行分组，得到所述待迁移数据块，所述待迁移数据块的数据量小于等于所述目标数据量。
优选的，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：
按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
所述在所述旧磁盘中选取一个所述待迁移数据块，包括：
按照优先选取数值小的数据量的所述待迁移数据块的原则，在所述旧磁盘中选取一个所述待迁移数据块。
优选的，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：
按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
所述在所述旧磁盘中选取一个所述待迁移数据块，包括：
按照循环选取原则，在所述旧磁盘中选取一个所述待迁移数据块，所述循环选取原则包括选取一个数值小的数据量的所述待迁移数据块、之后选取一个数值大的数据量的所述待迁移数据块的循环原则。
优选的，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：
按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
所述在所述旧磁盘中选取一个所述待迁移数据块，包括：
判断所述旧磁盘的服务压力是否大于预设值，若是，则按照优先选取数值小的数据量的所述待迁移数据块的原则，在所述旧磁盘中选取一个所述待迁移数据块，若否，则按照优先选取数值大的数据量的所述待迁移数据块的原则，在所述旧磁盘中选取一个所述待迁移数据块。
优选的，所述在对选取的所述待迁移数据块完成迁移的过程中，包括：
判断是否接收到存储所述待迁移数据块的新磁盘发送的数据迁移完成信息，若是，则判定完成对选取的所述待迁移数据块的迁移，若否，则判定未完成对选取的所述待迁移数据块的迁移。
优选的，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：
将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，并对每个所述待迁移数据块进行编号；
所述在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块，包括：
在对选取的所述待迁移数据块完成迁移后，发送选取的所述待迁移数据块的编号至所述旧磁盘，并控制所述旧磁盘删除接收的所述编号对应的所述待迁移数据块。
一种数据迁移系统，应用于分布式存储系统中，包括：
第一确定模块，用于在所述分布式存储系统中确定出进行数据迁移的旧磁盘；
第一分组模块，用于将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
第一选取模块，用于在所述旧磁盘中选取一个所述待迁移数据块，对选取的所述待迁移数据块进行迁移；
第一删除模块，用于在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块；
第一循环模块，用于提示所述第一选取模块执行在所述旧磁盘中选取一个所述待迁移数据块的步骤，直至完成对所述旧磁盘的数据迁移。
一种数据迁移设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述的数据迁移方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述的数据迁移方法的步骤。
本申请提供的一种数据迁移方法，应用于分布式存储系统中，在分布式存储系统中确定出进行数据迁移的旧磁盘；将旧磁盘中的待迁移数据进行分组，得到待迁移数据块；在旧磁盘中选取一个待迁移数据块，对选取的待迁移数据块进行迁移；在对选取的待迁移数据块完成迁移后，在旧磁盘中删除待迁移数据块；返回在旧磁盘中选取一个待迁移数据块的步骤，直至完成对旧磁盘的数据迁移。本申请提供的一种数据迁移方法，将旧磁盘中的待迁移数据进行分组，得到待迁移数据块，并且对在旧磁盘中选取一个待迁移数据块进行迁移，也即以待迁移数据块为单位进行数据迁移，与以待迁移数据为单位进行数据迁移相比，单次进行数据迁移所耗费的时间较短，而且在完成对选取的待迁移数据块的迁移后，在旧磁盘中删除待迁移数据块，从而使得旧磁盘可以接收并写入新数据，降低了因旧磁盘无法写入新数据而导致数据迁移失败的风险，提高了数据迁移成功率。本申请提供的一种数据迁移系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据迁移方法的第一流程图；
图2为本申请实施例提供的一种数据迁移方法的第二流程图；
图3为本申请实施例提供的一种数据迁移系统的结构示意图；
图4为本申请实施例提供的一种数据迁移设备的结构示意图；
图5为本申请实施例提供的一种数据迁移设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着云计算技术的兴起和普及，分布式存储系统越来越受到业界的关注。在分布式存储系统的运维工程中，可能遇到分布式存储系统空间使用率已达告警水位，此时需进行扩容，也即需进行数据迁移。现有的一种数据迁移方法是：将旧磁盘中的数据全部迁移至新磁盘，之后删除旧磁盘中的数据。然而，在将旧磁盘中的数据全部迁移至新磁盘中的过程中，旧磁盘可能需要存储新数据，然而，这时旧磁盘依旧是满磁盘，无法写入新数据，由此使得数据迁移失败。本申请提供的一种数据迁移方法可以提高数据迁移的成功率。
请参阅图1，图1为本申请实施例提供的一种数据迁移方法的第一流程图。
本申请实施例提供的一种数据迁移方法，应用于分布式存储系统中，可以包括以下步骤：
步骤S101：在分布式存储系统中确定出进行数据迁移的旧磁盘。
实际应用中，可以先在分布式存储系统中确定出进行数据迁移的旧磁盘。具体应用场景中，可以将存储空间使用率达到告警水位的磁盘确定为进行数据迁移的旧磁盘；还可以在分布式存储系统进行扩容时，将发生数据变动的磁盘确定为进行数据迁移的旧磁盘，此时，可以先记录分布式存储系统进行扩容前的数据分布情况，再获取分布式存储系统扩容后的数据分布情况，最后根据分布式存储系统进行扩容前后的数据分布情况，确定出需要进行数据迁移的旧磁盘；此外，还可以将满足导致数据重新分布的特殊情况的磁盘作为旧磁盘，比如将发生故障的磁盘作为旧磁盘等。应当指出，本申请所描述的旧磁盘并不是指器件老化的磁盘，而是指存储进行迁移的数据的磁盘，其是相对于数据迁移的描述语言。
步骤S102：将旧磁盘中的待迁移数据进行分组，得到待迁移数据块。
实际应用中，在确定出旧磁盘后，便可以将旧磁盘中的待迁移数据进行分组，得到待迁移数据块。将待迁移数据分组为待迁移数据块后，便可以以待迁移数据块为单位进行数据迁移，与以待迁移数据为单位进行数据迁移相比，单次进行数据迁移的数据量小，单次进行数据迁移所耗费的时间较少，单次进行数据迁移的效率较高，从而使得旧磁盘为新数据提供存储空间的效率较高。具体的分组原则可以根据实际需要确定，比如可以按照均分原则，将旧磁盘中的待迁移数据分组为相同大小的待迁移数据块等。
具体应用场景中，为了尽可能的避免出现旧磁盘无法写入新数据的情况，可以综合考虑迁移速率以及单次迁移所允许耗费的时长来准确对旧磁盘进行分组，则将旧磁盘中的待迁移数据进行分组，得到待迁移数据块的步骤可以具体为：获取数据迁移速率及预设时间长度，预设时间长度包括单次进行数据迁移时所允许耗费的时长；基于数据迁移速率及预设时间长度确定单次进行数据迁移时所迁移的目标数据量；将旧磁盘中的待迁移数据进行分组，得到待迁移数据块，待迁移数据块的数据量小于等于目标数据量。由于目标数据量是根据数据迁移速率及预设时间长度确定的，而预设时间长度包括单次进行数据迁移时所允许耗费的时长，所以目标数据量可以准确反映单次数据迁移时所能迁移的数据量；从而使得数据量小于等于目标数据量的待迁移数据块的迁移时长小于等于预设时间长度，避免对单个待迁移数据块的迁移时间过长造成旧磁盘的数据迁移失败。具体应用场景中，预设时间长度可以为旧磁盘相邻两次写入新数据的时间间隔等，在要求更高的精确度的情况下，预设时间长度还可以为旧磁盘相邻两次写入新数据的时间间隔与旧磁盘删除数据所耗费的时间的差值等。
步骤S103：在旧磁盘中选取一个待迁移数据块，对选取的待迁移数据块进行迁移。
实际应用中，在将旧磁盘中的待迁移数据分组为待迁移数据块后，便可以在旧磁盘中选取一个待迁移数据块，然后对选取的待迁移数据块进行迁移，也即每次只对一个待迁移数据块进行数据迁移，这样可以避免单次进行数据迁移的数据量过大，延长单次进行数据迁移所耗费的时长。
实际应用中，考虑到在对旧磁盘进行数据迁移的过程中，需让旧磁盘保留有可以写入新数据的存储空间，为了使得旧磁盘可以尽快将待迁移数据迁移而腾出存储空间，在将旧磁盘中的待迁移数据进行分组，得到待迁移数据块时，可以按照各个待迁移数据块的数据量大小依次增大的原则，将旧磁盘中的待迁移数据进行分组，得到待迁移数据块。
具体的，在旧磁盘中选取一个待迁移数据块时，可以按照优先选取数值小的数据量的待迁移数据块的原则，在旧磁盘中选取一个待迁移数据块。由于优先选取数值小的数据量的待迁移数据块进行数据迁移，而数据量小的待迁移数据块的迁移时间较短，所以可以尽快在旧磁盘中腾出存储空间，之后，在旧磁盘中累积到较大的可用存储空间后，便可以增大待迁移数据块的数据量，以便可以在单次数据迁移过程中为旧磁盘腾出较大的可用存储空间。
具体的，在旧磁盘中选取一个待迁移数据块时，还可以按照循环选取原则，在旧磁盘中选取一个待迁移数据块，循环选取原则包括选取一个数值小的数据量的待迁移数据块、之后选取一个数值大的数据量的待迁移数据块的循环原则。循环选取原则也即循环执行选取原则，以循环选取原则包括选取一个数值小的数据量的待迁移数据块、之后选取一个数值大的数据量的待迁移数据块的循环原则为例，在选取待迁移数据块时，可以先选取一个数据量小的待迁移数据块进行迁移，之后选取一个数据量大的待迁移数据块进行迁移，之后再选取一个数据量小的待迁移数据块进行迁移，以此循环，直至完成对整个待迁移数据的迁移；采用此种循环原则，在快速为旧磁盘腾出可用存储空间的时候，还可以兼顾单次为旧磁盘腾出可用存储空间的大小。
具体的，在旧磁盘中选取一个待迁移数据块时，还可以判断旧磁盘的服务压力是否大于预设值，若是，则按照优先选取数值小的数据量的待迁移数据块的原则，在旧磁盘中选取一个待迁移数据块，若否，则按照优先选取数值大的数据量的待迁移数据块的原则，在旧磁盘中选取一个待迁移数据块。也即在旧磁盘的服务压力大于预设值时，按照优先选取数值小的数据量的待迁移数据块的原则，在旧磁盘中选取一个待迁移数据块；在旧磁盘的服务压力小于预设值时，按照优先选取数值大的数据量的待迁移数据块的原则，在旧磁盘中选取一个待迁移数据块；从而可以根据旧磁盘的服务压力来灵活选取待迁移数据块，使得选取待迁移数据块的原则为最适合旧磁盘的服务压力的原则，可以保证旧磁盘的数据迁移成功率。
步骤S104：在对选取的待迁移数据块完成迁移后，在旧磁盘中删除待迁移数据块；返回步骤S103，直至完成对旧磁盘的数据迁移。
实际应用中，在对选取的待迁移数据块进行迁移，并且在完成迁移之后，便可以在旧磁盘中删除待迁移数据块，由此使得旧磁盘可以有存储空间来写入新接收的数据，可以避免在数据迁移过程中旧磁盘无法写入新数据的情况。
实际应用中，在对选取的一个待迁移数据块完成数据迁移后，便可以返回执行步骤S103及以后的步骤，以便完成对旧磁盘中的整个待迁移数据的迁移。
实际应用中，在对选取的待迁移数据块完成迁移的过程中，可以判断是否接收到存储待迁移数据块的新磁盘发送的数据迁移完成信息，若是，则判定完成对选取的待迁移数据块的迁移，若否，则判定未完成对选取的待迁移数据块的迁移。具体应用场景中，可以在分布式存储系统中设置监控节点，借助监控节点监控接收待迁移数据的新磁盘是否发出数据迁移完后信息，相应的，还可以借助监控节点监控各个磁盘的数据变化情况等。
实际应用中，为了提高在旧磁盘中删除待迁移数据块的效率，将旧磁盘中的待迁移数据进行分组，得到待迁移数据块的步骤可以具体为：将旧磁盘中的待迁移数据进行分组，得到待迁移数据块，并对每个待迁移数据块进行编号；相应的，在对选取的待迁移数据块完成迁移后，在旧磁盘中删除待迁移数据块的步骤可以具体为：在对选取的待迁移数据块完成迁移后，发送选取的待迁移数据块的编号至旧磁盘，并控制旧磁盘删除接收的编号对应的待迁移数据块。也即可以借助待迁移数据块的编号来传递将要删除的待迁移数据块的信息。
本申请提供的一种数据迁移方法，应用于分布式存储系统中，在分布式存储系统中确定出进行数据迁移的旧磁盘；将旧磁盘中的待迁移数据进行分组，得到待迁移数据块；在旧磁盘中选取一个待迁移数据块，对选取的待迁移数据块进行迁移；在对选取的待迁移数据块完成迁移后，在旧磁盘中删除待迁移数据块；返回在旧磁盘中选取一个待迁移数据块的步骤，直至完成对旧磁盘的数据迁移。本申请提供的一种数据迁移方法，将旧磁盘中的待迁移数据进行分组，得到待迁移数据块，并且对在旧磁盘中选取一个待迁移数据块进行迁移，也即以待迁移数据块为单位进行数据迁移，与以待迁移数据为单位进行数据迁移相比，单次进行数据迁移所耗费的时间较短，而且在完成对选取的待迁移数据块的迁移后，在旧磁盘中删除待迁移数据块，从而使得旧磁盘可以接收并写入新数据，降低了因旧磁盘无法写入新数据而导致数据迁移失败的风险，提高了数据迁移成功率。
请参阅图2，图2为本申请实施例提供的一种数据迁移方法的第二流程图。
实际应用中，本申请实施例提供的一种数据迁移方法可以包括以下步骤：
步骤S201：在分布式存储系统中确定出进行数据迁移的旧磁盘。
步骤S202：获取数据迁移速率及预设时间长度，预设时间长度包括单次进行数据迁移时所允许耗费的时长。
步骤S203：基于数据迁移速率及预设时间长度确定单次进行数据迁移时所迁移的目标数据量。
步骤S204：将旧磁盘中的待迁移数据进行分组，得到待迁移数据块，待迁移数据块的数据量小于等于目标数据量。
步骤S205：对每个待迁移数据块进行编号。
步骤S206：在旧磁盘中选取一个待迁移数据块，对选取的待迁移数据块进行迁移。
步骤S207：在对选取的待迁移数据块完成迁移后，发送选取的待迁移数据块的编号至旧磁盘，并控制旧磁盘删除接收的编号对应的待迁移数据块；返回步骤S206，直至完成对旧磁盘的数据迁移。
本申请还提供了一种数据迁移系统，其具有本申请实施例提供的一种数据迁移方法具有的对应效果。请参阅图3，图3为本申请实施例提供的一种数据迁移系统的结构示意图。
本申请实施例提供的一种数据迁移系统，应用于分布式存储系统中，可以包括：
第一确定模块101，用于在分布式存储系统中确定出进行数据迁移的旧磁盘；
第一分组模块102，用于将旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
第一选取模块103，用于在旧磁盘中选取一个待迁移数据块，对选取的待迁移数据块进行迁移；
第一删除模块104，用于在对选取的待迁移数据块完成迁移后，在旧磁盘中删除待迁移数据块；
第一循环模块105，用于提示第一选取模块执行在旧磁盘中选取一个待迁移数据块的步骤，直至完成对旧磁盘的数据迁移。
本申请实施例提供的一种数据迁移系统，应用于分布式存储系统中，第一分组模块可以包括：
第一获取单元，用于获取数据迁移速率及预设时间长度，预设时间长度包括单次进行数据迁移时所允许耗费的时长；
第一确定单元，用于基于数据迁移速率及预设时间长度确定单次进行数据迁移时所迁移的目标数据量；
第一分组单元，用于将旧磁盘中的待迁移数据进行分组，得到待迁移数据块，待迁移数据块的数据量小于等于目标数据量。
本申请实施例提供的一种数据迁移系统，应用于分布式存储系统中，第一分组模块可以包括：
第二分组单元，用于按照各个待迁移数据块的数据量大小依次增大的原则，将旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
第一选取模块可以包括：
第一选取单元，用于按照优先选取数值小的数据量的待迁移数据块的原则，在旧磁盘中选取一个待迁移数据块。
本申请实施例提供的一种数据迁移系统，应用于分布式存储系统中，第一分组模块可以包括：
第三分组单元，用于按照各个待迁移数据块的数据量大小依次增大的原则，将旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
第一选取模块可以：
第二选取单元，用于按照循环选取原则，在旧磁盘中选取一个待迁移数据块，循环选取原则包括选取一个数值小的数据量的待迁移数据块、之后选取一个数值大的数据量的待迁移数据块的循环原则。
本申请实施例提供的一种数据迁移系统，应用于分布式存储系统中，第一分组模块可以包括：
第四分组单元，用于按照各个待迁移数据块的数据量大小依次增大的原则，将旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
第一选取模块可以包括：
第一判断单元，用于判断旧磁盘的服务压力是否大于预设值，若是，则按照优先选取数值小的数据量的待迁移数据块的原则，在旧磁盘中选取一个待迁移数据块，若否，则按照优先选取数值大的数据量的待迁移数据块的原则，在旧磁盘中选取一个待迁移数据块。
本申请实施例提供的一种数据迁移系统，应用于分布式存储系统中，第一删除模块可以包括：
第二判断单元，用于判断是否接收到存储待迁移数据块的新磁盘发送的数据迁移完成信息，若是，则判定完成对选取的待迁移数据块的迁移，若否，则判定未完成对选取的待迁移数据块的迁移。
本申请实施例提供的一种数据迁移系统，应用于分布式存储系统中，第一分组模块可以包括：
第五分组单元，用于将旧磁盘中的待迁移数据进行分组，得到待迁移数据块，并对每个待迁移数据块进行编号；
第一删除模块可以包括：
第一控制单元，用于在对选取的待迁移数据块完成迁移后，发送选取的待迁移数据块的编号至旧磁盘，并控制旧磁盘删除接收的编号对应的待迁移数据块。
本申请还提供了一种数据迁移设备及计算机可读存储介质，其均具有本申请实施例提供的一种数据迁移方法具有的对应效果。请参阅图4，图4为本申请实施例提供的一种数据迁移设备的结构示意图。
本申请实施例提供的一种数据迁移设备，包括：
存储器201，用于存储计算机程序；
处理器202，用于执行计算机程序时实现如上任一实施例所描述的数据迁移方法的步骤。
请参阅图5，本申请实施例提供的另一种数据迁移设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现数据迁移设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例所描述的数据迁移方法的步骤。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的一种数据迁移系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的一种数据迁移方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据迁移方法，其特征在于，应用于分布式存储系统中，包括：
在所述分布式存储系统中确定出进行数据迁移的旧磁盘；
将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
在所述旧磁盘中选取一个所述待迁移数据块，对选取的所述待迁移数据块进行迁移；
在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块；
返回所述在所述旧磁盘中选取一个所述待迁移数据块的步骤，直至完成对所述旧磁盘的数据迁移。
2.根据权利要求1所述的方法，其特征在于，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：
获取数据迁移速率及预设时间长度，所述预设时间长度包括单次进行数据迁移时所允许耗费的时长；
基于所述数据迁移速率及所述预设时间长度确定单次进行数据迁移时所迁移的目标数据量；
将所述旧磁盘中的待迁移数据进行分组，得到所述待迁移数据块，所述待迁移数据块的数据量小于等于所述目标数据量。
3.根据权利要求1所述的方法，其特征在于，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：
按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
所述在所述旧磁盘中选取一个所述待迁移数据块，包括：
按照优先选取数值小的数据量的所述待迁移数据块的原则，在所述旧磁盘中选取一个所述待迁移数据块。
4.根据权利要求1所述的方法，其特征在于，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：
按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
所述在所述旧磁盘中选取一个所述待迁移数据块，包括：
按照循环选取原则，在所述旧磁盘中选取一个所述待迁移数据块，所述循环选取原则包括选取一个数值小的数据量的所述待迁移数据块、之后选取一个数值大的数据量的所述待迁移数据块的循环原则。
5.根据权利要求1所述的方法，其特征在于，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：
按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
所述在所述旧磁盘中选取一个所述待迁移数据块，包括：
判断所述旧磁盘的服务压力是否大于预设值，若是，则按照优先选取数值小的数据量的所述待迁移数据块的原则，在所述旧磁盘中选取一个所述待迁移数据块，若否，则按照优先选取数值大的数据量的所述待迁移数据块的原则，在所述旧磁盘中选取一个所述待迁移数据块。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述在对选取的所述待迁移数据块完成迁移的过程中，包括：
判断是否接收到存储所述待迁移数据块的新磁盘发送的数据迁移完成信息，若是，则判定完成对选取的所述待迁移数据块的迁移，若否，则判定未完成对选取的所述待迁移数据块的迁移。
7.根据权利要求6所述的方法，其特征在于，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：
将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，并对每个所述待迁移数据块进行编号；
所述在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块，包括：
在对选取的所述待迁移数据块完成迁移后，发送选取的所述待迁移数据块的编号至所述旧磁盘，并控制所述旧磁盘删除接收的所述编号对应的所述待迁移数据块。
8.一种数据迁移系统，其特征在于，应用于分布式存储系统中，包括：
第一确定模块，用于在所述分布式存储系统中确定出进行数据迁移的旧磁盘；
第一分组模块，用于将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；
第一选取模块，用于在所述旧磁盘中选取一个所述待迁移数据块，对选取的所述待迁移数据块进行迁移；
第一删除模块，用于在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块；
第一循环模块，用于提示所述第一选取模块执行在所述旧磁盘中选取一个所述待迁移数据块的步骤，直至完成对所述旧磁盘的数据迁移。
9.一种数据迁移设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的数据迁移方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据迁移方法的步骤。
CN201811348048.6A 2018-11-13 2018-11-13 一种数据迁移方法、系统、设备及计算机可读存储介质 Pending CN109460188A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811348048.6A CN109460188A (zh) 2018-11-13 2018-11-13 一种数据迁移方法、系统、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811348048.6A CN109460188A (zh) 2018-11-13 2018-11-13 一种数据迁移方法、系统、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109460188A true CN109460188A (zh) 2019-03-12

Family

ID=65610226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811348048.6A Pending CN109460188A (zh) 2018-11-13 2018-11-13 一种数据迁移方法、系统、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109460188A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008188A (zh) * 2019-10-29 2020-04-14 平安科技（深圳）有限公司 数据迁移方法、装置、计算机设备和存储介质
CN111143331A (zh) * 2019-12-30 2020-05-12 广州酷狗计算机科技有限公司 数据迁移方法、装置及计算机存储介质
CN111427519A (zh) * 2020-06-10 2020-07-17 广东睿江云计算股份有限公司 一种分布式存储数据迁移方法及装置
CN111651117A (zh) * 2020-04-24 2020-09-11 广东睿江云计算股份有限公司 一种存储数据迁移的方法及其装置
CN112131179A (zh) * 2020-09-23 2020-12-25 平安科技（深圳）有限公司 任务状态检测方法、装置、计算机设备及存储介质
CN112596671A (zh) * 2020-12-16 2021-04-02 东软集团股份有限公司 数据存储的方法、装置、存储介质及电子设备
CN112883008A (zh) * 2019-11-29 2021-06-01 阿里巴巴集团控股有限公司 数据迁移方法、设备、系统及存储介质
US11068188B2 (en) 2019-09-19 2021-07-20 International Business Machines Corporation Monitored migration of copies of volumes of data between clusters of a virtual tape library system
CN114546995A (zh) * 2022-04-25 2022-05-27 孔智科技（徐州）有限公司 一种基于图数据库的动态数据迁移方法和系统
CN115442388A (zh) * 2022-10-21 2022-12-06 四川省华存智谷科技有限责任公司 用于分布式存储集群利用率100%的扩容方法、装置及系统
CN116089358A (zh) * 2022-06-02 2023-05-09 荣耀终端有限公司 数据迁移方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073462A (zh) * 2010-11-29 2011-05-25 华为技术有限公司 虚拟存储迁移方法、系统和虚拟机监控器
CN103500073A (zh) * 2013-10-08 2014-01-08 浪潮(北京)电子信息产业有限公司 一种数据块迁移方法及装置
US20140114933A1 (en) * 2012-10-18 2014-04-24 Netapp, Inc. Migrating deduplicated data
CN105579950A (zh) * 2013-07-02 2016-05-11 日立数据系统工程英国有限公司 用于虚拟化文件系统的迁移的方法和装置、用于虚拟化文件系统的迁移的数据存储系统以及用于在数据存储系统中使用的文件服务器
CN106406754A (zh) * 2016-08-31 2017-02-15 北京小米移动软件有限公司 数据迁移方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073462A (zh) * 2010-11-29 2011-05-25 华为技术有限公司 虚拟存储迁移方法、系统和虚拟机监控器
US20140114933A1 (en) * 2012-10-18 2014-04-24 Netapp, Inc. Migrating deduplicated data
CN105579950A (zh) * 2013-07-02 2016-05-11 日立数据系统工程英国有限公司 用于虚拟化文件系统的迁移的方法和装置、用于虚拟化文件系统的迁移的数据存储系统以及用于在数据存储系统中使用的文件服务器
CN103500073A (zh) * 2013-10-08 2014-01-08 浪潮(北京)电子信息产业有限公司 一种数据块迁移方法及装置
CN106406754A (zh) * 2016-08-31 2017-02-15 北京小米移动软件有限公司 数据迁移方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李晓倩: "《面向存储虚拟化过程的在线迁移机制的设计与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068188B2 (en) 2019-09-19 2021-07-20 International Business Machines Corporation Monitored migration of copies of volumes of data between clusters of a virtual tape library system
CN111008188A (zh) * 2019-10-29 2020-04-14 平安科技（深圳）有限公司 数据迁移方法、装置、计算机设备和存储介质
WO2021082104A1 (zh) * 2019-10-29 2021-05-06 平安科技（深圳）有限公司 数据迁移方法、装置、计算机设备和存储介质
CN111008188B (zh) * 2019-10-29 2023-08-15 平安科技（深圳）有限公司 数据迁移方法、装置、计算机设备和存储介质
CN112883008B (zh) * 2019-11-29 2024-05-24 阿里巴巴集团控股有限公司 数据迁移方法、设备、系统及存储介质
CN112883008A (zh) * 2019-11-29 2021-06-01 阿里巴巴集团控股有限公司 数据迁移方法、设备、系统及存储介质
CN111143331A (zh) * 2019-12-30 2020-05-12 广州酷狗计算机科技有限公司 数据迁移方法、装置及计算机存储介质
CN111143331B (zh) * 2019-12-30 2024-05-10 广州酷狗计算机科技有限公司 数据迁移方法、装置及计算机存储介质
CN111651117B (zh) * 2020-04-24 2023-07-21 广东睿江云计算股份有限公司 一种存储数据迁移的方法及其装置
CN111651117A (zh) * 2020-04-24 2020-09-11 广东睿江云计算股份有限公司 一种存储数据迁移的方法及其装置
CN111427519A (zh) * 2020-06-10 2020-07-17 广东睿江云计算股份有限公司 一种分布式存储数据迁移方法及装置
CN111427519B (zh) * 2020-06-10 2020-10-16 广东睿江云计算股份有限公司 一种分布式存储数据迁移方法及装置
CN112131179A (zh) * 2020-09-23 2020-12-25 平安科技（深圳）有限公司 任务状态检测方法、装置、计算机设备及存储介质
CN112131179B (zh) * 2020-09-23 2023-11-21 平安科技（深圳）有限公司 任务状态检测方法、装置、计算机设备及存储介质
CN112596671A (zh) * 2020-12-16 2021-04-02 东软集团股份有限公司 数据存储的方法、装置、存储介质及电子设备
CN114546995B (zh) * 2022-04-25 2022-07-15 孔智科技（徐州）有限公司 一种基于图数据库的动态数据迁移方法和系统
CN114546995A (zh) * 2022-04-25 2022-05-27 孔智科技（徐州）有限公司 一种基于图数据库的动态数据迁移方法和系统
CN116089358A (zh) * 2022-06-02 2023-05-09 荣耀终端有限公司 数据迁移方法及电子设备
CN116089358B (zh) * 2022-06-02 2023-11-24 荣耀终端有限公司 数据迁移方法及电子设备
CN115442388B (zh) * 2022-10-21 2023-01-06 四川省华存智谷科技有限责任公司 用于分布式存储集群利用率100%的扩容方法、装置及系统
CN115442388A (zh) * 2022-10-21 2022-12-06 四川省华存智谷科技有限责任公司 用于分布式存储集群利用率100%的扩容方法、装置及系统

Similar Documents

Publication Publication Date Title
CN109460188A (zh) 一种数据迁移方法、系统、设备及计算机可读存储介质
CN102340543B (zh) 选择系统主节点的方法和设备
CN104008111B (zh) 一种数据的存储管理方法及装置
CN102156738A (zh) 数据块处理方法、数据块存储设备及系统
US10908833B2 (en) Data migration method for a storage system after expansion and storage system
CN103688248A (zh) 一种存储阵列的管理方法、装置和控制器
CN104662518A (zh) 数据迁移方法、数据迁移装置和存储设备
CN105137227A (zh) 智能卡掉电保护的测试装置及方法
CN104731515B (zh) 控制存储设备机群磨损均衡的方法及设备
CN107491272A (zh) 一种数据迁移的方法、装置、设备及存储介质
CN103576835A (zh) 一种休眠磁盘的数据操作方法和装置
CN103399781A (zh) 云服务器及其虚拟机管理方法
CN113867644B (zh) 磁盘阵列优化方法、装置、计算机设备及存储介质
CN103685542A (zh) 云虚拟机迁移方法、装置和系统
CN104020763A (zh) 输入输出接口的自动测试方法及系统
CN109542911A (zh) 一种元数据组织方法、系统、设备及计算机可读存储介质
CN105373350A (zh) 一种数据管理方法及装置
CN105242955A (zh) 一种虚拟机磁盘输入输出调度方法及系统
CN109271293A (zh) 一种硬盘数据的读取方法、装置及相关设备
CN103383652B (zh) 计算机平台多个操作系统的切换方法
CN109062515A (zh) 一种磁盘管理方法、系统及相关组件
CN104503924A (zh) 一种分层存储系统中的区域分配方法及装置
CN109656479A (zh) 一种构建存储器命令序列的方法及装置
CN108205559B (zh) 一种数据管理方法及其设备
CN105094700A (zh) 云存储系统中分层存储的数据热度计算方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190312