CN113495680B - 数据迁移方法及装置、存储系统、存储介质 - Google Patents
数据迁移方法及装置、存储系统、存储介质 Download PDFInfo
- Publication number
- CN113495680B CN113495680B CN202010256777.XA CN202010256777A CN113495680B CN 113495680 B CN113495680 B CN 113495680B CN 202010256777 A CN202010256777 A CN 202010256777A CN 113495680 B CN113495680 B CN 113495680B
- Authority
- CN
- China
- Prior art keywords
- data
- storage device
- pressure
- future
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 471
- 230000005012 migration Effects 0.000 title claims abstract description 471
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000012549 training Methods 0.000 claims description 35
- 230000005540 biological transmission Effects 0.000 claims description 30
- 238000013473 artificial intelligence Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 25
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 description 58
- 238000007726 management method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006872 improvement Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 235000019580 granularity Nutrition 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据迁移方法及装置、存储系统、存储介质,属于存储技术领域。该方法应用于存储系统中,该存储系统包括至少两个存储设备,该方法包括:获得该至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态;根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态;根据该至少两个存储设备的未来压力数据确定数据迁移时机;当该数据迁移时机满足时,指示将该至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备。本申请有助于改善数据迁移效果。
Description
技术领域
本申请涉及存储技术领域,特别涉及一种数据迁移方法及装置、存储系统、存储介质。
背景技术
存储系统通常包括用于存储数据的多个存储设备,随着数据的增加以及设备资源的不断扩大,经常需要在不同存储设备之间进行数据迁移。
目前,在进行数据迁移时,通常由管理人员根据经验设置数据迁移时机,例如管理人员在存储设备故障时发起数据迁移。但是,管理人员设置数据迁移时机时通常难以考虑到存储系统的全局因素,因此目前数据迁移的效果较差。
发明内容
本申请提供了一种数据迁移方法及装置、存储系统、存储介质,能够从存储系统的全局考虑进行数据迁移,有助于改善数据迁移效果。本申请的技术方案如下:
第一方面,提供了一种数据迁移方法,该方法应用于存储系统中,该存储系统包括至少两个存储设备,该方法包括:获得该至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态;根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态;根据该至少两个存储设备的未来压力数据确定数据迁移时机;当该数据迁移时机满足时,指示将该至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备。
本申请实施例提供的数据迁移方案中,根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定数据迁移时机,该数据迁移方案可以从存储系统全局考虑确定数据迁移时机,有助于改善数据迁移效果。
可选地,在指示将至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备之前,该方法还包括:根据该至少两个存储设备的未来压力数据确定源存储设备与目标存储设备之间的数据迁移路径;相应地,指示将至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备,包括:指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。
本申请实施例提供的数据迁移方案中,根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定源存储设备与目标存储设备之间的数据迁移路径,该数据迁移方案可以从存储系统全局考虑确定数据迁移路径,有助于改善数据迁移效果。
可选地,在根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据之前,该方法还包括:根据样本数据进行训练以生成该压力预测模型。
可选地,该样本数据包括历史样本数据以及与该历史样本数据对应的未来样本数据,该历史样本数据和该未来样本数据均为压力数据;根据样本数据进行训练以生成该压力预测模型,包括:将该历史样本数据输入初始预测模型进行预测,得到预测压力数据;根据该未来样本数据和该预测压力数据,调整该初始预测模型的模型参数,直至根据该历史样本数据预测得到的预测压力数据与该未来样本数据的差异满足预设条件;将满足该预设条件时的预测模型确定为该压力预测模型。
本申请实施例提供的数据迁移方案中,通过根据样本数据训练压力预测模型,可以便于根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,从而根据存储系统中的至少两个存储设备的未来压力数据确定数据迁移时机和数据迁移路径。
可选地,该历史压力数据和该未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
第二方面,提供了一种存储系统,包括处理器和至少两个存储设备;
该处理器用于:获得该至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态;根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态;根据该至少两个存储设备的该未来压力数据确定数据迁移时机;当该数据迁移时机满足时,指示将该至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备。
本申请实施例提供的数据迁移方案中,处理器根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定数据迁移时机,因此处理器可以从存储系统全局考虑确定数据迁移时机,有助于改善数据迁移效果。
可选地,该处理器用于:根据该至少两个存储设备的未来压力数据确定源存储设备与目标存储设备之间的数据迁移路径;指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。
本申请实施例提供的数据迁移方案中,处理器根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定源存储设备与目标存储设备之间的数据迁移路径,因此处理器可以从存储系统全局考虑确定数据迁移路径,有助于改善数据迁移效果。
可选地,该处理器还用于根据样本数据进行训练以生成压力预测模型。
可选地,该存储系统还包括人工智能芯片,该人工智能芯片用于根据样本数据进行训练以生成该压力预测模型。
可选地,该压力预测模型是由位于存储系统外部的设备发送而来的。
本申请实施例提供的数据迁移方案中,处理器通过获取压力预测模型,可以便于根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,从而根据存储系统中的至少两个存储设备的未来压力数据确定数据迁移时机和数据迁移路径。
可选地,样本数据包括历史样本数据以及与该历史样本数据对应的未来样本数据,该历史样本数据和该未来样本数据均为压力数据;该处理器用于:将该历史样本数据输入初始预测模型进行预测,得到预测压力数据;根据该未来样本数据和该预测压力数据,调整该初始预测模型的模型参数,直至根据该历史样本数据预测得到的预测压力数据与该未来样本数据的差异满足预设条件;将满足该预设条件时的预测模型确定为该压力预测模型。
可选地,样本数据包括历史样本数据以及与该历史样本数据对应的未来样本数据,该历史样本数据和该未来样本数据均为压力数据;该人工智能芯片用于:将该历史样本数据输入初始预测模型进行预测,得到预测压力数据;根据该未来样本数据和该预测压力数据,调整该初始预测模型的模型参数,直至根据该历史样本数据预测得到的预测压力数据与该未来样本数据的差异满足预设条件;将满足该预设条件时的预测模型确定为该压力预测模型。
本申请实施例提供的数据迁移方案中,通过处理器或人工智能芯片训练压力预测模型,可以便于处理器获取压力预测模型。
可选地,该历史压力数据和该未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
上述第二方面是以在磁盘阵列(redundant arrays of independent drives,RAID)中的不同磁盘之间进行数据迁移为例说明的,当在不同RAID之间进行数据迁移时,该第二方面中处理器的功能可以由存储系统中的管理设备实现。
第三方面,提供了一种数据迁移方法,所述方法应用于存储系统中,所述存储系统包括至少两个存储设备,所述方法包括:
获得所述至少两个存储设备的历史压力数据,每个所述存储设备的所述历史压力数据用于指示所述存储设备在历史时刻的业务压力状态;
根据压力预测模型以及每个所述存储设备的所述历史压力数据预测所述存储设备的未来压力数据,所述未来压力数据用于指示所述存储设备在未来时刻的业务压力状态;
根据所述至少两个存储设备的所述未来压力数据确定所述至少两个存储设备中的源存储设备与所述至少两个存储设备中的目标存储设备之间的数据迁移路径;
指示通过所述数据迁移路径将所述源存储设备中的数据迁移至所述目标存储设备。
本申请实施例提供的数据迁移方案中,根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定该至少两个存储设备中的源存储设备与该至少两个存储设备中的目标存储设备之间的数据迁移路径,指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备,该数据迁移方案可以从存储系统全局考虑确定数据迁移路径,有助于改善数据迁移效果。
可选地,在指示通过所述数据迁移路径将所述源存储设备中的数据迁移至所述目标存储设备之前,所述方法还包括:根据所述至少两个存储设备的所述未来压力数据确定数据迁移时机;
所述指示通过所述数据迁移路径将所述源存储设备中的数据迁移至所述目标存储设备,包括:当所述数据迁移时机满足时,指示通过所述数据迁移路径将所述源存储设备中的数据迁移至所述目标存储设备。
本申请实施例提供的数据迁移方案中,根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定数据迁移时机,当该数据迁移时机满足时,指示通过数据迁移路径将源存储设备中的数据迁移至目标存储设备,该数据迁移方案可以从存储系统全局考虑确定数据迁移时机,有助于改善数据迁移效果。
可选地,在根据压力预测模型以及每个所述存储设备的所述历史压力数据预测所述存储设备的未来压力数据之前,所述方法还包括:
根据样本数据进行训练以生成所述压力预测模型。
可选地,所述样本数据包括历史样本数据以及与所述历史样本数据对应的未来样本数据,所述历史样本数据和所述未来样本数据均为压力数据;
所述根据样本数据进行训练以生成所述压力预测模型,包括:
将所述历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据所述未来样本数据和所述预测压力数据,调整所述初始预测模型的模型参数,直至根据所述历史样本数据和预测模型预测得到的预测压力数据与所述未来样本数据的差异满足预设条件;
将满足所述预设条件时的预测模型确定为所述压力预测模型。
本申请实施例提供的数据迁移方案中,通过根据样本数据训练压力预测模型,可以便于根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,从而根据存储系统中的至少两个存储设备的未来压力数据确定数据迁移路径和数据迁移时机。
可选地,所述历史压力数据和所述未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
第四方面,提供了一种存储系统,包括处理器和至少两个存储设备;
所述处理器用于:
获得所述至少两个存储设备的历史压力数据,每个所述存储设备的所述历史压力数据用于指示所述存储设备在历史时刻的业务压力状态;
根据压力预测模型以及每个所述存储设备的所述历史压力数据预测所述存储设备的未来压力数据,所述未来压力数据用于指示所述存储设备在未来时刻的业务压力状态;
根据所述至少两个存储设备的所述未来压力数据确定所述至少两个存储设备中的源存储设备与所述至少两个存储设备中的目标存储设备之间的数据迁移路径;
指示通过所述数据迁移路径将所述源存储设备中的数据迁移至所述目标存储设备。
本申请实施例提供的数据迁移方案中,处理器根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定该至少两个存储设备中的源存储设备与该至少两个存储设备中的目标存储设备之间的数据迁移路径,指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备,因此处理器可以从存储系统全局考虑确定数据迁移时机,有助于改善数据迁移效果。
可选地,所述处理器用于:
根据所述至少两个存储设备的所述未来压力数据确定数据迁移时机;
当所述数据迁移时机满足时,指示通过所述数据迁移路径将所述源存储设备中的数据迁移至所述目标存储设备。
本申请实施例提供的数据迁移方案中,处理器根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定数据迁移时机,当该数据迁移时机满足时,指示通过数据迁移路径将源存储设备中的数据迁移至目标存储设备,因此处理器可以从存储系统全局考虑确定数据迁移时机,有助于改善数据迁移效果。
可选地,所述处理器还用于根据样本数据进行训练以生成所述压力预测模型。
可选地,所述存储系统还包括人工智能芯片,所述人工智能芯片用于根据样本数据进行训练以生成所述压力预测模型。
可选地,所述压力预测模型是由位于所述存储系统外部的设备发送而来的。
本申请实施例提供的数据迁移方案中,处理器通过获取压力预测模型,可以便于根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,从而根据存储系统中的至少两个存储设备的未来压力数据确定数据迁移路径和数据迁移时机。
可选地,所述样本数据包括历史样本数据以及与所述历史样本数据对应的未来样本数据,所述历史样本数据和所述未来样本数据均为压力数据;
所述处理器用于:
将所述历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据所述未来样本数据和所述预测压力数据,调整所述初始预测模型的模型参数,直至根据所述历史样本数据和预测模型预测得到的预测压力数据与所述未来样本数据的差异满足预设条件;
将满足所述预设条件时的预测模型确定为所述压力预测模型。
可选地,所述样本数据包括历史样本数据以及与所述历史样本数据对应的未来样本数据,所述历史样本数据和所述未来样本数据均为压力数据;
所述人工智能芯片用于:
将所述历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据所述未来样本数据和所述预测压力数据,调整所述初始预测模型的模型参数,直至根据所述历史样本数据和预测模型预测得到的预测压力数据与所述未来样本数据的差异满足预设条件;
将满足所述预设条件时的预测模型确定为所述压力预测模型。
可选地,所述历史压力数据和所述未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
上述第四方面是以在RAID中的不同磁盘之间进行数据迁移为例说明的,当在不同RAID之间进行数据迁移时,该第四方面中处理器的功能可以由存储系统中的管理设备实现。
第五方面,提供一种数据迁移方法,所述方法应用于存储系统中,所述存储系统包括至少两个存储设备,所述方法包括:
获得所述至少两个存储设备的历史压力数据,每个所述存储设备的所述历史压力数据用于指示所述存储设备在历史时刻的业务压力状态;
根据压力预测模型以及每个所述存储设备的所述历史压力数据预测所述存储设备的未来压力数据,所述未来压力数据用于指示所述存储设备在未来时刻的业务压力状态;
根据所述至少两个存储设备的所述未来压力数据从所述至少两个存储设备中确定源存储设备和目标存储设备;
指示将所述源存储设备中的数据迁移至所述目标存储设备。
本申请实施例提供的数据迁移方案中,根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据从该至少两个存储设备中确定源存储设备和目标存储设备,指示将该源存储设备中的数据迁移至该目标存储设备,该数据迁移方案可以从存储系统全局考虑确定源存储设备和目标存储设备,有助于改善数据迁移效果。
可选地,在指示将所述源存储设备中的数据迁移至所述目标存储设备之前,所述方法还包括:根据所述至少两个存储设备的所述未来压力数据确定数据迁移时机;
所述指示将所述源存储设备中的数据迁移至所述目标存储设备,包括:当所述数据迁移时机满足时,指示将所述源存储设备中的数据迁移至所述目标存储设备。
本申请实施例提供的数据迁移方案中,根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定数据迁移时机,当该数据迁移时机满足时,指示将源存储设备中的数据迁移至目标存储设备,该数据迁移方案可以从存储系统全局考虑确定数据迁移时机,有助于改善数据迁移效果。
可选地,在指示将所述源存储设备中的数据迁移至所述目标存储设备之前,所述方法还包括:根据所述至少两个存储设备的所述未来压力数据确定所述源存储设备与所述目标存储设备之间的数据迁移路径;
所述指示将所述源存储设备中的数据迁移至所述目标存储设备,包括:指示通过所述数据迁移路径将所述源存储设备中的数据迁移至所述目标存储设备。
本申请实施例提供的数据迁移方案中,根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定源存储设备与目标存储设备之间的数据迁移路径,指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备,该数据迁移方案可以从存储系统全局考虑确定数据迁移路径,有助于改善数据迁移效果。
可选地,在根据压力预测模型以及每个所述存储设备的所述历史压力数据预测所述存储设备的未来压力数据之前,所述方法还包括:
根据样本数据进行训练以生成所述压力预测模型。
可选地,所述样本数据包括历史样本数据以及与所述历史样本数据对应的未来样本数据,所述历史样本数据和所述未来样本数据均为压力数据;
所述根据样本数据进行训练以生成所述压力预测模型,包括:
将所述历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据所述未来样本数据和所述预测压力数据,调整所述初始预测模型的模型参数,直至根据所述历史样本数据和预测模型预测得到的预测压力数据与所述未来样本数据的差异满足预设条件;
将满足所述预设条件时的预测模型确定为所述压力预测模型。
本申请实施例提供的数据迁移方案中,通过根据样本数据训练压力预测模型,可以便于根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,从而根据存储系统中的至少两个存储设备的未来压力数据确定源存储设备、目标存储设备、数据迁移路径和数据迁移时机。
可选地,所述历史压力数据和所述未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
第六方面,提供了一种存储系统,包括处理器和至少两个存储设备;
所述处理器用于:
获得所述至少两个存储设备的历史压力数据,每个所述存储设备的所述历史压力数据用于指示所述存储设备在历史时刻的业务压力状态;
根据压力预测模型以及每个所述存储设备的所述历史压力数据预测所述存储设备的未来压力数据,所述未来压力数据用于指示所述存储设备在未来时刻的业务压力状态;
根据所述至少两个存储设备的所述未来压力数据从所述至少两个存储设备中确定源存储设备和目标存储设备;
指示将所述源存储设备中的数据迁移至所述目标存储设备。
本申请实施例提供的数据迁移方案中,处理器根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据从该至少两个存储设备中确定源存储设备和目标存储设备,指示将该源存储设备中的数据迁移至该目标存储设备,因此处理器可以从存储系统全局考虑确定源存储设备和目标存储设备,有助于改善数据迁移效果。
可选地,所述处理器用于:
根据所述至少两个存储设备的所述未来压力数据确定数据迁移时机;
当所述数据迁移时机满足时,指示将所述源存储设备中的数据迁移至所述目标存储设备。
本申请实施例提供的数据迁移方案中,处理器根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定数据迁移时机,当该数据迁移时机满足时,指示将源存储设备中的数据迁移至目标存储设备,因此处理器可以从存储系统全局考虑确定数据迁移时机,有助于改善数据迁移效果。
可选地,所述处理器用于:
根据所述至少两个存储设备的所述未来压力数据确定所述源存储设备与所述目标存储设备之间的数据迁移路径;
指示通过所述数据迁移路径将所述源存储设备中的数据迁移至所述目标存储设备。
本申请实施例提供的数据迁移方案中,处理器根据存储系统中的各个存储设备的历史压力数据预测到各个存储设备的未来压力数据后,根据该存储系统中的至少两个存储设备的未来压力数据确定源存储设备与目标存储设备之间的数据迁移路径,指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备,因此处理器可以从存储系统全局考虑确定数据迁移路径,有助于改善数据迁移效果。
可选地,所述处理器还用于根据样本数据进行训练以生成所述压力预测模型。
可选地,所述存储系统还包括人工智能芯片,
所述人工智能芯片用于根据样本数据进行训练以生成所述压力预测模型。
可选地,所述压力预测模型是由位于所述存储系统外部的设备发送而来的。
本申请实施例提供的数据迁移方案中,处理器通过获取压力预测模型,可以便于根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,从而根据存储系统中的至少两个存储设备的未来压力数据确定数据迁移路径和数据迁移时机。
可选地,所述样本数据包括历史样本数据以及与所述历史样本数据对应的未来样本数据,所述历史样本数据和所述未来样本数据均为压力数据;
所述处理器用于:
将所述历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据所述未来样本数据和所述预测压力数据,调整所述初始预测模型的模型参数,直至根据所述历史样本数据和预测模型预测得到的预测压力数据与所述未来样本数据的差异满足预设条件;
将满足所述预设条件时的预测模型确定为所述压力预测模型。
可选地,所述样本数据包括历史样本数据以及与所述历史样本数据对应的未来样本数据,所述历史样本数据和所述未来样本数据均为压力数据;
所述人工智能芯片用于:
将所述历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据所述未来样本数据和所述预测压力数据,调整所述初始预测模型的模型参数,直至根据所述历史样本数据和预测模型预测得到的预测压力数据与所述未来样本数据的差异满足预设条件;
将满足所述预设条件时的预测模型确定为所述压力预测模型。
可选地,所述历史压力数据和所述未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
上述第六方面是以在RAID中的不同磁盘之间进行数据迁移为例说明的,当在不同RAID之间进行数据迁移时,该第六方面中处理器的功能可以由存储系统中的管理设备实现。
第七方面,提供了一种数据迁移装置,该数据迁移装置包括用于执行如第一方面或第一方面的任一可选方式所提供的数据迁移方法的各个模块,或者,用于执行如第三方面或第三方面的任一可选方式所提供的数据迁移方法的各个模块,或者,用于执行如第五方面或第五方面的任一可选方式所提供的数据迁移方法的各个模块。
第八方面,提供了一种数据迁移装置,该数据迁移装置包括处理器和存储器,该存储器中存储有程序,该处理器用于调用该存储器中存储的程序,使得该数据迁移装置执行如第一方面或第一方面的任一可选方式所提供的数据迁移方法,或者,使得该数据迁移装置执行如第三方面或第三方面的任一可选方式所提供的数据迁移方法,或者,使得该数据迁移装置执行如第五方面或第五方面的任一可选方式所提供的数据迁移方法。
第九方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行如第一方面或第一方面的任一可选方式所提供的数据迁移方法,或者,使得该计算机执行如第三方面或第三方面的任一可选方式所提供的数据迁移方法,或者,使得该计算机执行如第五方面或第五方面的任一可选方式所提供的数据迁移方法。
第十方面,提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得该计算机执行如第一方面或第一方面的任一可选方式所提供的数据迁移方法,或者,使得该计算机执行如第三方面或第三方面的任一可选方式所提供的数据迁移方法,或者,使得该计算机执行如第五方面或第五方面的任一可选方式所提供的数据迁移方法。
第十一方面,提供了一种芯片,该芯片包括可编程逻辑电路和/或程序指令,当该芯片运行时用于实现如第一方面或第一方面的任一可能实现方式所提供的数据迁移方法,或者,实现如第三方面或第三方面的任一可能实现方式所提供的数据迁移方法,或者,实现如第五方面或第五方面的任一可能实现方式所提供的数据迁移方法。
本申请实施例提供的技术方案带来的有益效果是:
本申请实施例提供的技术方案,存储系统获得存储系统中的至少两个存储设备的历史压力数据后,根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,并根据该至少两个存储设备的未来压力数据确定数据迁移时机,当该数据迁移时机满足时,指示将该至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备。由于在确定数据迁移时机时考虑到了存储系统中的各个存储设备的压力数据,因此可以从存储系统全局考虑确定数据迁移时机,有助于改善数据迁移效果。
附图说明
图1是本申请实施例涉及的一种存储系统的示意图;
图2是本申请实施例涉及的另一种存储系统的示意图;
图3是本申请实施例提供的一种数据迁移方法的方法流程图;
图4是本申请实施例提供的另一种数据迁移方法的方法流程图;
图5是本申请实施例提供的再一种数据迁移方法的方法流程图;
图6是本申请实施例提供的一种训练压力预测模型的方法流程图;
图7是本申请实施例提供的一种数据迁移装置的逻辑结构示意图;
图8是本申请实施例提供的另一种数据迁移装置的逻辑结构示意图;
图9是本申请实施例提供的再一种数据迁移装置的逻辑结构示意图;
图10是本申请实施例提供的一种数据迁移装置的硬件结构示意图;
图11是本申请实施例提供的一种存储系统的示意图。
具体实施方式
为使本申请的原理、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在存储技术领域,为了保证业务质量,经常需要进行数据迁移,如何在客户无感知的情况下进行数据迁移,是数据迁移的重点和难点。本申请实施例提供一种数据迁移方案,该数据迁移方案的实施环境可以是存储系统,该存储系统可以包括至少两个存储设备,该数据迁移方案可以实现在该至少两个存储设备之间无感知的进行数据迁移。
其中,该至少两个存储设备中的至少一个可以是RAID,或者,该至少两个存储设备是一个RAID中的至少两个磁盘。如果该至少两个存储设备均是RAID,该至少两个存储设备可以位于同一个数据中心中,也可以位于不同的数据中心中。如果该至少两个存储设备是一个RAID中的至少两个磁盘,该数据迁移方案可以实现同一RAID中的不同磁盘之间的数据迁移,如果该至少两个存储设备均是RAID,该数据迁移方案可以实现不同RAID之间的数据迁移,如果该至少两个存储设备位于不同的数据中心中,该数据迁移方案可以实现不同数据中心之间的数据迁移。其中,RAID是由多块独立的磁盘组合成的一个容量巨大的磁盘组,RAID利用个别磁盘提供数据所产生加成效果提升整个RAID的效能。本领域技术人员容易理解,本段关于存储设备的描述仅仅是示例性的,本申请实施例中的存储设备泛指任何能够存储数据的设备、存储空间或存储介质,例如存储设备还可以是存储器、硬盘、光盘、主机逻辑单元号(logical unit number,LUN)或主机卷等,存储器可以是易失性存储器或非易失性存储器,例如存储器可以是随机存取存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、非易失性RAM(non-volatile RAM,NVRAM)、可编程ROM(programmable ROM,PROM)、可擦除PROM(erasable PROM,EPROM)、电可擦除PROM(electrically erasable PROM,EEPROM)、闪存、光存储器和寄存器等,本申请实施例对此不作限定。
示例地,请参考图1,其示出了本申请实施例涉及的一种实施环境的示意图,该实施环境提供一种存储系统00,图1以该存储系统00包括存储设备002~005(也即是存储设备002、存储设备003、存储设备004和存储设备005)为例说明。该存储设备002~005可以是同一RAID中的多个磁盘,该存储系统还可以包括处理器001,该处理器001可以是该RAID的处理器,也即是,该图1所示的存储系统00可以是一个RAID的内部系统,存储设备002~005中的任意两个存储设备可以在处理器001的指示下进行数据迁移,例如,在处理器001的指示下,将存储设备002中的数据迁移至存储设备003。其中,处理器001可以是通用处理器或专用处理器,通用处理器例如可以是中央处理器(central processing unit,CPU),专用处理器例如但不限于,数字信号处理器(digital signal processor,DSP)、应用专用集成电路(application-specific integrated circuit,ASIC)和现场可编程门阵列(field-programmable gate array,FPGA)等。本领域技术人员容易理解,在该存储系统00中的不同存储设备之间发生的数据迁移可以是同一RAID中的不同磁盘之间的数据迁移。
示例地,请参考图2,其示出了本申请实施例涉及的另一种实施环境的示意图,该实施环境提供一种存储系统01,图2以该存储系统01包括存储设备012~015(也即是存储设备012、存储设备013、存储设备014和存储设备015)为例说明。该存储设备012~015均可以是RAID,该存储系统还可以包括管理设备011,该管理设备011用于管理该存储设备012~015,存储设备012~015中的任意两个存储设备可以在管理设备011的指示下进行数据迁移,例如,在管理设备011的指示下,将存储设备015中的数据迁移至存储设备014。其中,该管理设备011可以是主机、终端、服务器或虚拟机等各种类型的设备。本领域技术人员容易理解,在该存储系统01中的不同存储设备之间发生的数据迁移可以是同一数据中心中不同RAID之间的数据迁移,或者是不同数据中心之间的数据迁移,如果是不同数据中心之间的数据迁移,该管理设备011可以是管理多个不同数据中心的管理设备。
数据迁移需要依照一定的迁移策略进行,该迁移策略包括但不限于数据迁移时机(也即是何时迁移数据),数据迁移路径(也即是迁移数据所经过的路径)、数据迁移时长(也即是数据迁移过程的持续时长)、数据迁移速度、数据迁移的源存储设备(也即是迁出数据的存储设备)以及目标存储设备(也即是迁入数据的存储设备)等。在传统的数据迁移方案中,通常由管理人员根据经验设置迁移策略,这样的方案完全依赖于管理人员的主观判断,受人为因素影响,难以从存储系统的全局因素考虑设置迁移策略,因此数据迁移的效果较差。
例如,数据迁移速度难以设定影响数据迁移效果。如果数据迁移速度设置的太慢,会导致数据迁移的持续时间较长,容易在业务高峰期影响业务,如果数据迁移速度设置的太快,会导致数据迁移过程占用正常业务的带宽等资源,造成正常业务受阻。
再例如,数据迁移时机滞后。目前的数据迁移方案是在发现存储设备出现问题后才进行数据迁移,而不会在存储设备出现问题之前进行数据迁移。
又例如,数据迁移效率较低。目前的数据迁移方案中,数据迁移在业务场景的优先级较低,管理人员通常在业务低谷(例如其他业务不运行时)时进行数据迁移,很难及时高效的进行数据迁移,在坏盘和业务快速增长等场景下会造成数据丢失。
还例如,存在无效迁移。管理人员的精力有限或者存储系统过于庞大,管理人员通常很难掌握存储系统的全局信息,甚至对存储系统的局部信息也难以细致了解,导致管理人员设置的数据迁移决策的粒度较大且带有局限性,容易造成迁移后效果不佳或者多次迁移的问题。
本申请实施例提供的数据迁移方案,可以根据存储系统中的至少两个存储设备的历史压力数据预测该至少两个存储设备的未来压力数据,根据该至少两个存储设备的未来压力数据确定数据迁移时机和/或数据迁移路径等,并在迁移时机满足时指示通过数据迁移路径将源存储设备中的数据迁移至目标存储设备,该数据迁移方案可以从存储系统全局考虑进行数据迁移,数据迁移过程不受人为因素影响,有助于改善数据迁移效果。本申请实施例的详细方案请参考下述实施例的描述。
首先,对本申请实施例提供的数据迁移方法进行描述。本申请实施例提供的数据迁移方法可以应用于图1或图2所示的存储系统,如果该数据迁移方法应用于图1所示的存储系统00,该数据迁移方法可以由处理器001执行,如果该数据迁移方法应用于图2所示的存储系统01,该数据迁移方法可以由管理设备011执行。本申请实施例以该数据迁移方法应用于图1所示存储系统00为例说明。当该数据迁移方法应用于图2所示存储系统01时,将下述实施例中的执行主体由处理器替换为管理设备即可。
示例地,请参考图3,其示出了本申请实施例提供的一种数据迁移方法的方法流程图。参见图3,该方法可以包括如下几个步骤:
步骤301、获得存储系统中的至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态。
其中,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态,该历史压力数据可以包括在该历史时刻该存储设备的资源消耗数据,例如,该存储设备的资源可以包括存储资源、计算资源和传输资源中的至少一种,该传输资源可以包括传输带宽,例如读带宽、写带宽等。可选地,该历史压力数据可以包括在该历史时刻,该存储设备的存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。其中,该存储资源占用率可以是存储设备的存储空间的占用率;该计算资源占用率可以是存储设备的处理器的占用率;该传输资源占用率可以是存储设备接收到的输入输出(input/output,IO)请求所请求的数据在传输时对该存储设备的传输资源的占用率。在本申请实施例中,根据存储设备的不同,历史压力数据也不同,例如,当该至少两个存储设备是同一个RAID中的不同磁盘时,该历史压力数据可以包括存储资源占用率,当该至少两个存储设备均是RAID时,该历史压力数据可以包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。容易理解,此处关于历史压力数据的描述仅仅是示例性的,实际应用中,历史压力数据可以是任何能够指示存储设备的业务压力状态的数据,例如,该历史压力数据还可以是在历史时刻,存储设备每秒进行读写操作的次数(input/output operations per second,IOPS)、每秒接收到的读请求的比例(也即是存储设备每秒接收到的读请求的数量与存储设备每秒接收到的所有请求的数量的比值)、每秒接收到的写请求的比例(也即是存储设备每秒接收到的写请求的数量与存储设备每秒接收到的所有请求的数量的比值)、读请求的大小(也即是存储设备接收到的读请求所请求的数据量的大小)、写请求的大小(也即是存储设备接收到的写请求所请求的数据量的大小)等,本申请实施例对此不作限定。
其中,历史时刻指的是当前时刻之前的任意时刻,该当前时刻可以是执行本申请实施例的数据迁移方法的时刻,例如该当前时刻可以是该步骤301获取存储设备的历史压力数据的时刻。示例地,该历史时刻是该当前时刻之前两周的时刻(也即是该历史时刻与该当前时刻之间的时间差是14天),或者该历史时刻是该当前时刻之前90天的时刻(也即是该历史时刻与该当前时刻之间的时间差是90天),或者该历史时刻是该当前时刻之前30分钟的时刻(也即是该历史时刻与该当前时刻之间的时间差是30分钟),本申请实施例对此不作限定。
可选地,在本申请实施例中,每个存储设备的历史压力数据可以是该存储设备在历史时刻的压力数据,也可以是该存储设备在历史时间段内的压力数据。如果该历史压力数据是存储设备在历史时刻的压力数据,该历史压力数据可以指示该存储设备在该历史时刻的业务压力状态。如果该历史压力数据是存储设备在历史时间段内的压力数据,该历史压力数据可以指示该存储设备在该历史时间段内的业务压力状态,也可以是指示该存储设备在该历史时间段内的某个时刻的业务压力状态,本申请实施例对此不作限定。
可选地,处理器可以监控存储系统中的至少两个存储设备,处理器在监控每个存储设备的过程中,可以记录该存储设备在各个时刻的压力数据,对于该至少两个存储设备中的每个存储设备,处理器可以读取自身记录的在历史时刻该存储设备的压力数据来获取该存储设备的历史压力数据,从而获取该至少两个存储设备的历史压力数据。
步骤302、根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态。
其中,每个存储设备的未来压力数据用于指示该存储设备在未来时刻的业务压力状态,该未来压力数据可以包括在该未来时刻该存储设备的资源消耗数据,例如,该存储设备的资源可以包括存储资源、计算资源和传输资源中的至少一种,该传输资源可以包括传输带宽,例如读带宽、写带宽等。可选地,该未来压力数据可以包括在该未来时刻,该存储设备的存储资源占用率、计算资源占用率和传输资源占用率中的至少一种,存储资源占用率、计算资源占用率和传输资源占用率的解释可以参考步骤301,本申请实施例在此不再赘述。需要说明的是,未来压力数据可以是任何能够指示存储设备的业务压力状态的数据,例如,该未来压力数据还可以是在未来时刻,存储设备的IOPS、每秒接收到的读请求的比例、每秒接收到的写请求的比例、读请求的大小、写请求的大小等。其中,未来时刻指的是当前时刻之后的任意时刻,该当前时刻的定义可以参考步骤301。示例地,该未来时刻是该当前时刻之后两周的时刻,或者该未来时刻是该当前时刻之后90天的时刻,或者该未来时刻是该当前时刻之后30分钟的时刻,本申请实施例对此不作限定。
其中,压力预测模型是用于预测未来压力数据的模型,该压力预测模型的输入参数可以是存储设备的历史压力数据,该压力预测模型用于根据输入的历史压力数据计算未来压力数据并输出,该压力预测模型的输出参数可以是根据输入的历史压力数据计算得到的未来压力数据。可选地,对于每个存储设备,处理器可以将该存储设备的历史压力数据输入压力预测模型,将该压力预测模型输出的数据确定为该存储设备的未来压力数据。示例地,处理器001将存储设备002的历史压力数据输入压力预测模型,将该压力预测模型输出的数据确定为该存储设备002的未来压力数据;处理器001将存储设备003的历史压力数据输入压力预测模型,将该压力预测模型输出的数据确定为该存储设备003的未来压力数据。
容易理解,在本申请实施例中,压力预测模型预测出的未来压力数据的类型与输入该压力预测模型的历史压力数据的类型可以相同。例如,压力预测模型根据存储设备在历史时刻的存储资源占用率预测得到的是该存储设备在未来时刻的存储资源占用率,根据该存储设备在历史时刻的计算资源占用率预测得到的是该存储设备在未来时刻的计算资源占用率,根据该存储设备在历史时刻的传输资源占用率预测得到的是该存储设备在未来时刻的传输资源占用率,本申请实施例对此不作限定。
步骤303、根据该至少两个存储设备的未来压力数据确定数据迁移时机。
处理器预测到存储系统中的至少两个存储设备的未来压力数据后,可以根据该至少两个存储设备的未来压力数据确定数据迁移时机。可选地,处理器可以对该至少两个存储设备的未来压力数据进行分析处理,根据分析处理结果确定数据迁移时机。
在本申请实施例中,该数据迁移时机可以是数据迁移的时刻或者是数据迁移的触发条件。示例地,该数据迁移的时刻可以位于该存储系统的业务低谷期,在该存储系统的业务低谷期,该存储系统中的各个存储设备被访问的概率较低,在该业务低谷期进行迁移有助于避免数据迁移对业务的影响,或者,该数据迁移的时刻可以是该存储系统满足数据迁移的触发条件的时刻,当然,该数据迁移时刻还可以是其他时刻,本申请实施例对此不作限定。其中,该触发条件可以是该至少两个存储设备中某个存储设备的未来压力数据达到预设压力阈值,或者该至少两个存储设备中某个存储设备在未来时刻的业务压力状态达到预设状态,该某个存储设备可以是该至少两个存储设备中的任意一个存储设备,也可以是该至少两个存储设备中的某个指定的存储设备,本申请实施例对此不作限定。示例地,该触发条件可以是该至少两个存储设备中某个存储设备在未来时刻的存储资源占用率达到第一占用率阈值,或者,该至少两个存储设备中某个存储设备在未来时刻的传输资源占用率达到第二占用率阈值(例如该存储设备的盘带宽占用率达到第二占用率阈值),或者,该至少两个存储设备中某个存储设备在未来时刻的计算资源占用率达到第三占用率阈值。其中,该第一占用率阈值、该第二占用率阈值和该第三占用率阈值可以相等或不等,示例地,该第一占用率阈值、该第二占用率阈值和该第三占用率阈值中的任一个可以为80%、90%或95%等,本申请实施例对此不作限定。
步骤304、当该数据迁移时机满足时,指示将该至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备。
处理器在确定数据迁移时机后,可以持续性检测该数据迁移时机是否满足,在确定该数据迁移时机满足时,处理器可以指示将该至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备。其中,该源存储设备和该目标存储设备中的至少一个可以是处理器根据该至少两个存储设备的未来压力数据从该至少两个存储设备中确定的,也可以是用户在该至少两个存储设备中确定的,本申请实施例对此不作限定。
可选地,处理器在将源存储设备中的数据迁移至目标存储设备中之前,可以根据该至少两个存储设备的未来压力数据确定该源存储设备与该目标存储设备之间的数据迁移路径,当该数据迁移时机满足时,处理器指示通过该数据迁移路径,将该源存储设备中的数据迁移至该目标存储设备。
可选地,处理器可以通过最大流算法确定该源存储设备与该目标存储设备之间的数据迁移路径。示例地,处理器将该源存储设备、该目标存储设备、连接该源存储设备和该目标存储设备的通信网络中的网络设备,以及该源存储设备、该目标存储设备和各个网络设备的连接关系进行抽象得到数据迁移网络,计算该数据迁移网络中从该源存储设备到该目标存储设备的最优路径,将从该源存储设备到该目标存储设备的最优路径确定为该源存储设备与该目标存储设备之间的数据迁移路径。可选地,处理器可以计算该数据迁移网络中从该源存储设备到该目标存储设备的各条路径的开销(cost)值,将从该源存储设备到该目标存储设备的各条路径中,cost值最小的路径确定为从该源存储设备到该目标存储设备的最优路径。
可选地,该数据迁移路径的起点设备可以为该源存储设备,终点设备可以为该目标存储设备,该数据迁移路径中除该源存储设备和该目标存储设备之外的设备均为中转设备。处理器指示通过该数据迁移路径,将该源存储设备中的数据迁移至该目标存储设备可以包括:处理器向该源存储设备以及各个中转设备分别发送指示信息,处理器向每个设备发送的指示信息可以指示该数据迁移路径中,位于该设备下游且与该设备相邻的设备,源存储设备和各个中转设备根据接收到的指示信息进行数据传输,将源存储设备中的数据迁移至目标存储设备。可选地,处理器向该数据迁移路径中的第i个设备发送的指示信息可以指示该数据迁移路径中的第i+1个设备,该第i个设备和该第i+1个设备为该数据迁移路径中按照从该源存储设备到该目标存储设备的方向分布的相邻两个设备,i为大于或等于1的整数。
示例地,以图1所示的存储系统00为例,假设源存储设备为存储设备002,目标存储设备为存储设备003,该源存储设备与该目标存储设备之间的数据迁移路径为:存储设备002->中转设备A->中转设备B->中转设备C->存储设备003,处理器001向存储设备002发送的指示信息可以指示中转设备A,向中转设备A发送的指示信息可以指示中转设备B,向中转设备B发送的指示信息可以指示中转设备C,向中转设备C发送的指示信息可以指示存储设备003,存储设备002根据处理器001发送的指示信息将存储设备002中的数据传输至中转设备A,中转设备A根据处理器001发送的指示信息将存储设备002传输的数据传输至中转设备B,中转设备B根据处理器001发送的指示信息将中转设备A传输的数据传输至中转设备C,中转设备C根据处理器001发送的指示信息将中转设备B传输的数据传输至存储设备003,至此完成将存储设备002中的数据迁移至存储设备003。
可选地,在本申请实施例中,每个存储设备中可以存储有多种不同业务的数据,处理器可以指示将源存储设备中的所有业务的数据迁移至目标存储设备(也即是处理器不区分业务,指示将所有数据均进行迁移),也可以指示将源存储设备中的目标业务的数据迁移至目标存储设备,相应地,处理器向源存储设备发送的指示信息还可以指示该目标业务,该源存储设备根据该指示信息将该源存储设备中该目标业务的数据传输至中转设备,例如,存储设备002根据处理器001发送的指示信息将存储设备002中目标业务的数据传输至中转设备A。其中,该目标业务可以是该源存储设备中的任意业务,可选地,该目标业务是对该源存储设备的业务压力影响较大的业务,本申请实施例对此不作限定。
综上所述,本申请实施例提供的数据迁移方法,获得存储系统中的至少两个存储设备的历史压力数据后,根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,并根据该至少两个存储设备的未来压力数据确定数据迁移时机,当该数据迁移时机满足时,指示将该至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备。由于在确定数据迁移时机时考虑到了存储系统中的各个存储设备的压力数据,因此可以从存储系统全局考虑确定数据迁移时机,有助于改善数据迁移效果。
再示例地,请参考图4,其示出了本申请实施例提供的另一种数据迁移方法的方法流程图。参见图4,该方法可以包括如下几个步骤:
步骤401、获得存储系统中的至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态。
步骤402、根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态。
上述步骤401至步骤402的实现过程可以参考图3所示实施例中的步骤301至步骤302,本申请实施例在此不再赘述。
步骤403、根据该至少两个存储设备的未来压力数据确定该至少两个存储设备中的源存储设备与该至少两个存储设备中的目标存储设备之间的数据迁移路径。
可选地,处理器可以对该至少两个存储设备的未来压力数据进行分析处理,根据分析处理结果确定该至少两个存储设备中的源存储设备与该至少两个存储设备中的目标存储设备之间的数据迁移路径。其中,该源存储设备和该目标存储设备中的至少一个可以是处理器根据该至少两个存储设备的未来压力数据从该至少两个存储设备中确定的,也可以是用户从该至少两个存储设备中确定的,本申请实施例对此不作限定。
可选地,处理器可以对该至少两个存储设备的未来压力数据进行分析处理,通过最大流算法确定该源存储设备与该目标存储设备之间的数据迁移路径。示例地,处理器将该源存储设备、该目标存储设备、连接该源存储设备和该目标存储设备的通信网络中的网络设备,以及该源存储设备、该目标存储设备和各个网络设备的连接关系进行抽象得到数据迁移网络,计算该数据迁移网络中从该源存储设备到该目标存储设备的最优路径,将从该源存储设备到该目标存储设备的最优路径确定为该源存储设备与该目标存储设备之间的数据迁移路径。
步骤404、指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。
处理器确定源存储设备与目标存储设备之间的数据迁移路径后,可以指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。可选地,处理器在指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备之前,可以根据存储系统中的该至少两个存储设备的未来压力数据确定数据迁移时机,并持续性检测该数据迁移时机是否满足,当该数据迁移时机满足时,处理器指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。其中,处理器根据该至少两个存储设备的未来压力数据确定数据迁移时机的过程可以参考图3所示实施例中的步骤303,本申请实施例在此不再赘述。
可选地,该数据迁移路径的起点设备可以为该源存储设备,终点设备可以为该目标存储设备,该数据迁移路径中除该源存储设备和该目标存储设备之外的设备均为中转设备。处理器指示通过该数据迁移路径,将该源存储设备中的数据迁移至该目标存储设备可以包括:处理器向该源存储设备以及各个中转设备分别发送指示信息,处理器向每个设备发送的指示信息可以指示该数据迁移路径中,位于该设备下游且与该设备相邻的设备,源存储设备和各个中转设备根据接收到的指示信息进行数据传输,将源存储设备中的数据迁移至目标存储设备。
示例地,以图1所示的存储系统00为例,假设源存储设备为存储设备005,目标存储设备为存储设备004,该源存储设备与该目标存储设备之间的数据迁移路径为:存储设备005->中转设备D->中转设备E->中转设备F->存储设备004,处理器001向存储设备005发送的指示信息可以指示中转设备D,向中转设备D发送的指示信息可以指示中转设备E,向中转设备E发送的指示信息可以指示中转设备F,向中转设备F发送的指示信息可以指示存储设备004,存储设备005根据处理器001发送的指示信息将存储设备005中的数据传输至中转设备D,中转设备D根据处理器001发送的指示信息将存储设备005传输的数据传输至中转设备E,中转设备E根据处理器001发送的指示信息将中转设备D传输的数据传输至中转设备F,中转设备F根据处理器001发送的指示信息将中转设备E传输的数据传输至存储设备004,至此完成将存储设备005中的数据迁移至存储设备004。
可选地,在本申请实施例中,每个存储设备中可以存储有多种不同业务的数据,处理器可以指示将源存储设备中的所有业务的数据迁移至目标存储设备,也可以指示将源存储设备中的目标业务的数据迁移至目标存储设备,相应地,处理器向源存储设备发送的指示信息还可以指示该目标业务,该源存储设备根据该指示信息将该源存储设备中该目标业务的数据传输至中转设备,例如,存储设备005根据处理器001发送的指示信息将存储设备005中目标业务的数据传输至中转设备D。其中,该目标业务可以是该源存储设备中的任意业务,可选地,该目标业务是对该源存储设备的业务压力影响较大的业务,本申请实施例对此不作限定。
综上所述,本申请实施例提供的数据迁移方法,获得存储系统中的至少两个存储设备的历史压力数据后,根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,并根据该至少两个存储设备的未来压力数据确定该至少两个存储设备中的源存储设备与该至少两个存储设备中的目标存储设备之间的数据迁移路径,指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。由于在确定数据迁移路径时考虑到了存储系统中的各个存储设备的压力数据,因此可以从存储系统全局考虑确定源存储设备与目标存储设备之间的数据迁移路径,有助于改善数据迁移效果。
又示例地,请参考图5,其示出了本申请实施例提供的再一种数据迁移方法的方法流程图。参见图5,该方法可以包括如下几个步骤:
步骤501、获得存储系统中的至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态。
步骤502、根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态。
上述步骤501至步骤502的实现过程可以参考图3所示实施例中的步骤301至步骤302,本申请实施例在此不再赘述。
步骤503、根据该至少两个存储设备的未来压力数据从该至少两个存储设备中确定源存储设备和目标存储设备。
可选地,处理器可以对该至少两个存储设备的未来压力数据进行分析处理,根据分析处理结果从该至少两个存储设备中确定源存储设备和目标存储设备。
可选地,对于至少两个存储设备的每个存储设备,处理器可以根据该存储设备的未来压力数据确定该存储设备在未来时刻的业务压力状态,根据该至少两个存储设备在未来时刻的业务压力状态,从该至少两个存储设备中确定源存储设备和目标存储设备。示例地,该源存储设备可以是该至少两个存储设备中业务压力状态较高的存储设备,该目标存储设备可以为该至少两个存储设备中业务压力状态较低的存储设备。
示例地,处理器可以维护压力数据与压力状态的对应关系,在该对应关系中,每个压力状态可以对应一个压力数据范围,对于每个存储设备,处理器可以确定该存储设备的未来压力数据所属的压力数据范围,将该未来压力数据所属的压力数据范围确定为该存储设备在未来时刻的业务压力状态。再示例地,处理器可以维护压力数据与压力状态的处理关系,对于每个存储设备,处理器根该处理关系处理该存储设备的未来压力数据,得到该存储设备在未来时刻的业务压力状态,容易理解的是,处理器还可以采用其他方式确定存储设备的业务压力状态,本申请实施例对此不做限定。
步骤504、指示将该源存储设备中的数据迁移至该目标存储设备。
处理器确定源存储设备和目标存储设备后,可以指示将该源存储设备中的数据迁移至该目标存储设备。可选地,处理器在指示将该源存储设备中的数据迁移至该目标存储设备之前,可以根据存储系统中的至少两个存储设备的未来压力数据确定该源存储设备与该目标存储设备之间的数据迁移路径,处理器可以指示通过该数据迁移路径,将该源存储设备中的数据迁移至该目标存储设备。其中,处理器确定该源存储设备与该目标存储设备之间的数据迁移路径的过程可以参考图5所示实施例中的步骤503,本申请实施例在此不再赘述。
可选地,处理器在指示将该源存储设备中的数据迁移至该目标存储设备之前,还可以根据存储系统中的至少两个存储设备的未来压力数据确定数据迁移时机,并持续性检测该数据迁移时机是否满足,当该数据迁移时机满足时,处理器指示将该源存储设备中的数据迁移至该目标存储设备。可选地,当该数据迁移时机满足时,处理器指示通过数据迁移路径,将该源存储设备中的数据迁移至该目标存储设备。其中,处理器根据该至少两个存储设备的未来压力数据确定数据迁移时机的过程可以参考图3所示实施例中的步骤303,本申请实施例在此不再赘述。
示例地,以图1所示的存储系统00为例,假设源存储设备为存储设备003,目标存储设备为存储设备004,该源存储设备与该目标存储设备之间的数据迁移路径为:存储设备003->中转设备A->中转设备D->存储设备004,处理器001向存储设备003发送的指示信息可以指示中转设备A,向中转设备A发送的指示信息可以指示中转设备D,向中转设备D发送的指示信息可以指示存储设备004,存储设备003根据处理器001发送的指示信息将存储设备003中的数据传输至中转设备A,中转设备A根据处理器001发送的指示信息将存储设备003传输的数据传输至中转设备D,中转设备D根据处理器001发送的指示信息将中转设备A传输的数据传输至存储设备004,至此完成将存储设备003中的数据迁移至存储设备004。
可选地,在本申请实施例中,每个存储设备中可以存储有多种不同业务的数据,处理器可以指示将源存储设备中的所有业务的数据迁移至目标存储设备,也可以指示将源存储设备中的目标业务的数据迁移至目标存储设备,相应地,处理器向源存储设备发送的指示信息还可以指示该目标业务,该源存储设备根据该指示信息将该源存储设备中该目标业务的数据传输至中转设备,例如,存储设备003根据处理器001发送的指示信息将存储设备003中目标业务的数据传输至中转设备A。其中,该目标业务可以是该源存储设备中的任意业务,可选地,该目标业务是对该源存储设备的业务压力影响较大的业务,本申请实施例对此不作限定。
综上所述,本申请实施例提供的数据迁移方法,获得存储系统中的至少两个存储设备的历史压力数据后,根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,并根据该至少两个存储设备的未来压力数据从该至少两个存储设备中确定源存储设备和目标存储设备,指示将该源存储设备中的数据迁移至该目标存储设备。由于在确定源存储设备和目标存储设备时考虑到了存储系统中的各个存储设备的压力数据,因此可以从存储系统全局考虑确定源存储设备和目标存储设备,有助于改善数据迁移效果。
本申请实施例提供的数据迁移方法,通过压力预测模型预测存储设备的未来压力数据,可以提前识别出有数据迁移需求的存储设备(也即是源存储设备),并从存储系统全局寻找能够接受迁移数据的目标存储设备,可以在源存储设备故障之前及时将源存储设备中的数据迁移至目标存储设备,避免源存储设备故障对业务的影响。该数据迁移方法通过压力预测模型预测存储设备的未来压力数据,根据存储设备的未来压力数据智能的确定源存储设备、目标存储设备、数据迁移路径和数据迁移时机等迁移策略,并指示根据迁移策略进行数据迁移,有助于降低管理人员的工作量,有助于最大限度地降低甚至避免数据迁移过程对正常业务的影响,避免人为误判导致的无效或低效率的数据迁移,实现存储系统资源的高效利用。本申请实施例提供的数据迁移方法可以适用于新旧存储设备的更替,不同存储设备(例如RAID)的整合,数据中心的合并,以及在不同性能的存储介质之间进行数据迁移。
本申请实施例中的存储设备泛指任何能够存储数据的设备、存储空间或存储介质,例如RAID、磁盘、存储器、硬盘、光盘、LUN或主机卷等,该数据迁移方法可以提供包括RAID、磁盘、存储器、硬盘、光盘、LUN或主机卷等的迁移决策。在本申请实施例中,处理器可以以不同时间粒度获得存储设备的历史压力数据,并预测未来压力数据,基于预测的未来压力数据确定迁移策略并进行数据迁移,因此该数据迁移方法可以实现不同时间粒度的数据迁移,该时间粒度例如两周或90天等。
可选地,在上述图3至图5实施例中,处理器在确定源存储设备、目标存储设备、数据迁移时机和数据迁移路径等迁移策略后,可以呈现该迁移策略,用户可以针对该迁移策略触发迁移指令,当接收到该迁移指令时,处理器按照图3至图5所示实施例的指示过程指示进行数据迁移,这样可以便于用户获知迁移策略,实现数据迁移的智能人工双重保障。示例地,处理器可以通过显示设备显示迁移策略,也可以通过语音设备播报该迁移策略,或者通过其他方式呈现迁移策略,本申请实施例对此不做限定。可选地,处理器确定数据迁移路径后,还可以根据该数据迁移路径中的传输带宽确定数据迁移速度,以及根据需要迁移的数据的总量和数据迁移速度确定数据迁移过程的持续时长等,本申请实施例在此不再赘述。
可选地,在上述图3至图5实施例中,处理器在根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据之前(也即是上述步骤302之前,步骤402之前以及步骤502之前),存储系统可以先获取该压力预测模型。在本申请实施例中,该压力预测模型可以由该存储系统的处理器进行训练来生成,或者,该存储系统还可以包括人工智能芯片,该压力预测模型可以由该人工智能芯片进行训练来生成,或者,该压力预测模型可以由位于该存储系统外部的设备发送而来,也即是,该压力预测模型由该存储系统外部的设备训练好之后发送给该存储系统。本申请实施例以该压力预测模型由该存储系统的处理器进行训练来生成为例说明,则处理器在根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据之前,该数据迁移方法还可以包括:根据样本数据进行训练以生成压力预测模型。其中,该样本数据可以包括历史样本数据以及与该历史样本数据对应的未来样本数据,该历史样本数据和该未来样本数据均可以为压力数据。
示例地,请参考图6,其示出了本申请实施例提供的一种训练压力预测模型的方法流程图,参见图6,该方法可以包括如下几个步骤:
步骤601、将历史样本数据输入初始预测模型进行预测,得到预测压力数据。
处理器可以获取初始预测模型,将该历史样本数据输入该初始预测模型,通过该初始预测模型根据该历史样本数据进行预测,将该初始预测模型根据该历史样本数据预测得到并输出的数据确定为预测压力数据。其中,该初始预测模型可以是机器学习网络模型、深度学习网络模型或浅层学习网络模型等目前所使用的各种人工智能模型。
步骤602、根据该历史样本数据对应的未来样本数据和该预测压力数据,调整该初始预测模型的模型参数,直至根据该历史样本数据预测得到的预测压力数据与该未来样本数据的差异满足预设条件。
处理器根据历史样本数据预测得到预测压力数据后,可以根据该历史样本数据对应的未来样本数据和该预测压力数据调整初始预测模型的模型参数,调整模型参数后,处理器将该历史样本数据输入至调整模型参数后的预测模型再次进行预测,得到再次预测的预测压力数据,根据该历史样本数据对应的未来样本数据和再次预测的该预测压力数据,再次调整模型参数后再次进行预测,重复执行上述调整模型参数至输入历史样本数据的过程进行模型训练,直至预测得到的预测压力数据与未来样本数据的差异满足预设条件。其中,该预设条件可以是表征预测压力数据与未来样本数据的差异较小的条件,例如,该预设条件可以是该预测压力数据与该未来样本数据的差异值小于预设差异值,本申请实施例对此不作限定。
步骤603、将满足该预设条件时的预测模型确定为压力预测模型。
处理器执行上述步骤602之后,可以得到预测压力数据与未来样本数据的差异满足预设条件的预测模型,处理器可以将预测压力数据与未来样本数据的差异满足预设条件时的预测模型确定为压力预测模型,使用该压力预测模型进行上述步骤302、上述步骤402以及上述步骤502的预测过程。
本领域技术人员容易理解,上述步骤601至步骤602仅仅是示例性的,在实际应用中,可以采用大量的样本数据来训练压力预测模型,这样可以保证最终训练得到的压力预测模型的预测精度和预测准确度。其中,该图6所示实施例是以处理器训练压力预测模型为例说明的,人工智能芯片或者存储系统外部的设备训练压力预测模型的过程可以参考该图6实施例,本申请实施例在此不再赘述。
下述为本申请的装置实施例,可以用于执行本申请的方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图7,其示出了本申请实施例提供的一种数据迁移装置700的逻辑结构示意图,该数据迁移装置700可以为图2所示的存储系统01中的管理设备011或者是该管理设备011中的功能组件。参见图7,该数据迁移装置700可以包括但不限于:
获取模块710,用于获得存储系统中的至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态;可选地,该获取模块710可以用于执行图3所示实施例的步骤301。
预测模块720,用于根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态;可选地,该预测模块720可以用于执行图3所示实施例的步骤302。
时机确定模块730,用于根据该至少两个存储设备的未来压力数据确定数据迁移时机;可选地,该时机确定模块730可以用于执行图3所示实施例的步骤303。
指示模块740,用于当该数据迁移时机满足时,指示将该至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备。可选地,该指示模块740可以用于执行图3所示实施例的步骤304。
可选地,请继续参考图7,该数据迁移装置700还可以包括:
路径确定模块750,用于根据该至少两个存储设备的未来压力数据确定源存储设备与目标存储设备之间的数据迁移路径;其中,该路径确定模块750可以用于在指示模块740指示将源存储设备中的数据迁移至目标存储设备之前,确定源存储设备与目标存储设备之间的数据迁移路径,该数据迁移路径可以是该源存储设备与该目标存储设备之间的最优路径。
相应地,指示模块740,用于指示通过数据迁移路径将源存储设备中的数据迁移至目标存储设备。
可选地,请继续参考图7,该数据迁移装置700还可以包括:
训练模块760,用于根据样本数据进行训练以生成压力预测模型。可选地,该训练模块760可以用于执行图6所示实施例的方法来训练压力预测模型。
可选地,该样本数据包括历史样本数据以及与该历史样本数据对应的未来样本数据,该历史样本数据和该未来样本数据均为压力数据;该训练模块760,用于:
将该历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据该未来样本数据和该预测压力数据,调整该初始预测模型的模型参数,直至根据该历史样本数据和预测模型预测得到的预测压力数据与该未来样本数据的差异满足预设条件;
将满足预设条件时的预测模型确定为压力预测模型。
可选地,历史压力数据和未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
综上所述,本申请实施例提供的数据迁移装置,获得存储系统中的至少两个存储设备的历史压力数据后,根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,并根据该至少两个存储设备的未来压力数据确定数据迁移时机,当该数据迁移时机满足时,指示将该至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备。由于在确定数据迁移时机时考虑到了存储系统中的各个存储设备的压力数据,因此可以从存储系统全局考虑确定数据迁移时机,有助于改善数据迁移效果。
请参考图8,其示出了本申请实施例提供的另一种数据迁移装置800的逻辑结构示意图,该数据迁移装置800可以为图2所示的存储系统01中的管理设备011或者是该管理设备011中的功能组件。参见图8,该数据迁移装置800可以包括但不限于:
获取模块810,用于获得存储系统中的至少两个存储设备的历史压力数据,每个存储设备的该历史压力数据用于指示该存储设备在历史时刻的业务压力状态;可选地,该获取模块810可以用于执行图4所示实施例的步骤401。
预测模块820,用于根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态;可选地,该预测模块820可以用于执行图4所示实施例的步骤402。
路径确定模块830,用于根据该至少两个存储设备的未来压力数据确定该至少两个存储设备中的源存储设备与该至少两个存储设备中的目标存储设备之间的数据迁移路径;可选地,该路径确定模块830可以用于执行图4所示实施例的步骤403。
指示模块840,用于指示通过数据迁移路径将源存储设备中的数据迁移至目标存储设备。可选地,该指示模块840可以用于执行图4所示实施例的步骤404。
可选地,请继续参考图8,该数据迁移装置800还可以包括:
时机确定模块850,用于根据该至少两个存储设备的未来压力数据确定数据迁移时机;其中,该时机确定模块850可以用于在指示模块840指示通过数据迁移路径将源存储设备中的数据迁移至目标存储设备之前确定数据迁移时机。
相应地,指示模块840,用于当该数据迁移时机满足时,指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。
可选地,请继续参考图8,该数据迁移装置800还可以包括:
训练模块860,用于根据样本数据进行训练以生成压力预测模型。可选地,该训练模块860可以用于执行图6所示实施例的方法来训练压力预测模型。
可选地,该样本数据包括历史样本数据以及与该历史样本数据对应的未来样本数据,该历史样本数据和该未来样本数据均为压力数据;该训练模块860,用于:
将该历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据该未来样本数据和该预测压力数据,调整该初始预测模型的模型参数,直至根据该历史样本数据和预测模型预测得到的预测压力数据与该未来样本数据的差异满足预设条件;
将满足预设条件时的预测模型确定为压力预测模型。
可选地,历史压力数据和未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
综上所述,本申请实施例提供的数据迁移装置,获得存储系统中的至少两个存储设备的历史压力数据后,根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,并根据该至少两个存储设备的未来压力数据确定该至少两个存储设备中的源存储设备与该至少两个存储设备中的目标存储设备之间的数据迁移路径,指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。由于在确定数据迁移路径时考虑到了存储系统中的各个存储设备的压力数据,因此可以从存储系统全局考虑确定源存储设备与目标存储设备之间的数据迁移路径,有助于改善数据迁移效果。
请参考图9,其示出了本申请实施例提供的再一种数据迁移装置900的逻辑结构示意图,该数据迁移装置900可以为图2所示的存储系统01中的管理设备011或者是该管理设备011中的功能组件。参见图9,该数据迁移装置900可以包括但不限于:
获取模块910,用于获得存储系统中的至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态;可选地,该获取模块910可以用于执行图5所示实施例的步骤501。
预测模块920,用于根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态;可选地,该预测模块920可以用于执行图5所示实施例的步骤502。
设备确定模块930,用于根据该至少两个存储设备的未来压力数据从该至少两个存储设备中确定源存储设备和目标存储设备;可选地,该设备确定模块930可以用于执行图5所示实施例的步骤503。
指示模块940,用于指示将该源存储设备中的数据迁移至该目标存储设备。可选地,该指示模块940可以用于执行图5所示实施例的步骤504。
可选地,请继续参考图9,该数据迁移装置900还可以包括:
时机确定模块950,用于根据该至少两个存储设备的未来压力数据确定数据迁移时机;其中,该时机确定模块950可以用于在指示模块940指示将源存储设备中的数据迁移至目标存储设备之前确定数据迁移时机。
相应地,指示模块940,用于当该数据迁移时机满足时,指示将源存储设备中的数据迁移至目标存储设备。
可选地,请继续参考图9,该数据迁移装置900还可以包括:
路径确定模块960,用于根据该至少两个存储设备的未来压力数据确定源存储设备与目标存储设备之间的数据迁移路径;其中,该路径确定模块960可以用于在指示模块940指示将源存储设备中的数据迁移至目标存储设备之前确定数据迁移路径。
相应地,指示模块940,用于指示通过该数据迁移路径将源存储设备中的数据迁移至目标存储设备。
可选地,请继续参考图9,该数据迁移装置900还可以包括:
训练模块970,用于根据样本数据进行训练以生成压力预测模型。可选地,该训练模块970可以用于执行图6所示实施例的方法来训练压力预测模型。
可选地,该样本数据包括历史样本数据以及与该历史样本数据对应的未来样本数据,该历史样本数据和该未来样本数据均为压力数据;该训练模块970,用于:
将该历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据该未来样本数据和该预测压力数据,调整该初始预测模型的模型参数,直至根据该历史样本数据和预测模型预测得到的预测压力数据与该未来样本数据的差异满足预设条件;
将满足该预设条件时的预测模型确定为该压力预测模型。
可选地,该历史压力数据和该未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
综上所述,本申请实施例提供的数据迁移装置,获得存储系统中的至少两个存储设备的历史压力数据后,根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,并根据该至少两个存储设备的未来压力数据从该至少两个存储设备中确定源存储设备和目标存储设备,指示将该源存储设备中的数据迁移至该目标存储设备。由于在确定源存储设备和目标存储设备时考虑到了存储系统中的各个存储设备的压力数据,因此可以从存储系统全局考虑确定源存储设备和目标存储设备,有助于改善数据迁移效果。
需要说明的是:上述实施例提供的数据迁移装置在进行数据迁移时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将数据迁移装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据迁移装置与数据迁移方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图10,其示出了本申请实施例提供的一种数据迁移装置1000的硬件结构示意图,该数据迁移装置1000可以为图2所示存储系统01中的管理设备011。参见图10,该数据迁移装置1000包括处理器1002、存储器1004、通信接口1006和总线1008,处理器1002、存储器1004和通信接口1006通过总线1008彼此通信连接。本领域技术人员应当明白,图10所示的处理器1002、存储器1004和通信接口1006之间的连接方式仅仅是示例性的,在实现过程中,处理器1002、存储器1004和通信接口1006也可以采用除了总线1008之外的其他连接方式彼此通信连接。
其中,存储器1004可以用于存储程序,存储器1004中存储的程序可以包括指令10042和数据10044。在本申请实施例中,存储器1004可以是各种类型的存储介质,例如RAM、ROM、NVRAM、PRO、EPROM、EEPROM、闪存、光存储器和寄存器等。并且,该存储器1004可以包括磁盘、硬盘和/或内存。
其中,处理器1002可以是通用处理器,通用处理器可以是通过读取并执行存储器(例如存储器1004)中存储的指令(例如指令10042)来执行特定步骤和/或操作的处理器,通用处理器在执行上述步骤和/或操作的过程中可能用到存储在存储器(例如存储器1004)中的数据(例如数据10044)。通用处理器可以是,例如但不限于CPU。此外,处理器1002也可以是专用处理器,专用处理器可以是专门设计的用于执行特定步骤和/或操作的处理器,该专用处理器可以是,例如但不限于DSP、ASIC和FPGA等。此外,处理器1002还可以是多个处理器的组合,例如多核处理器。处理器1002可以包括一个或多个电路,以执行上述实施例提供的数据迁移方法的全部或部分步骤。
其中,通信接口1006可以包括网络接口、输入/输出(input/output,I/O)接口、物理接口和逻辑接口等用于实现数据迁移装置1000内部的器件互连的接口,以及用于实现数据迁移装置1000与其他设备(例如存储设备)互连的接口。物理接口可以是千兆的以太接口(gigabitethernet,GE),其可以用于实现数据迁移装置1000与其他设备互连,逻辑接口是数据迁移装置1000内部的接口,其可以用于实现数据迁移装置1000内部的器件互连。容易理解,通信接口1006可以用于数据迁移装置1000与存储设备通信,例如,通信接口1006用于数据迁移装置1000指示存储设备进行数据迁移。
其中,总线1008可以是任何类型的,用于实现处理器1002、存储器1004和通信接口1006互连的通信总线,例如系统总线。
上述器件可以分别设置在彼此独立的芯片上,也可以至少部分的或者全部的设置在同一块芯片上。将各个器件独立设置在不同的芯片上,还是整合设置在一个或者多个芯片上,往往取决于产品设计的需要。本申请实施例对上述器件的具体实现形式不做限定。
图10所示的数据迁移装置1000仅仅是示例性的,在实现过程中,数据迁移装置1000还可以包括其他组件,本文不再一一列举。该图10所示的数据迁移装置1000可以通过执行上述实施例提供的数据迁移方法的全部或部分步骤来指示进行数据迁移。
请参考图11,其示出了本申请实施例提供的一种存储系统1100的示意图,如图11所示,该存储系统1100包括处理器1110和至少两个存储设备1120,该至少两个存储设备1120分别与处理器1110通信连接,例如,该至少两个存储设备1120通过总线与处理器1110通信连接。
示例地,在本申请实施例提供的第一种实现方式中:
该处理器1110用于:
获得该至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态;
根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态;
根据该至少两个存储设备的未来压力数据确定数据迁移时机;
当该数据迁移时机满足时,指示将该至少两个存储设备中的源存储设备中的数据迁移至该至少两个存储设备中的目标存储设备。
可选地,该处理器11用于:
根据该至少两个存储设备的未来压力数据确定该源存储设备与该目标存储设备之间的数据迁移路径;
指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。
示例地,在本申请实施例提供的第二种实现方式中:
该处理器1110用于:
获得该至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态;
根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态;
根据该至少两个存储设备的未来压力数据确定该至少两个存储设备中的源存储设备与该至少两个存储设备中的目标存储设备之间的数据迁移路径;
指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。
可选地,该处理器11用于:
根据该至少两个存储设备的未来压力数据确定数据迁移时机;
当该数据迁移时机满足时,指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。
示例地,在本申请实施例提供的第三种实现方式中:
该处理器1110用于:
获得该至少两个存储设备的历史压力数据,每个存储设备的历史压力数据用于指示该存储设备在历史时刻的业务压力状态;
根据压力预测模型以及每个存储设备的历史压力数据预测该存储设备的未来压力数据,该未来压力数据用于指示该存储设备在未来时刻的业务压力状态;
根据该至少两个存储设备的未来压力数据从该至少两个存储设备中确定源存储设备和目标存储设备;
指示将该源存储设备中的数据迁移至该目标存储设备。
可选地,该处理器1110用于:
根据该至少两个存储设备的未来压力数据确定数据迁移时机;
当该数据迁移时机满足时,指示将该源存储设备中的数据迁移至该目标存储设备。
可选地,该处理器1110用于:
根据该至少两个存储设备的未来压力数据确定该源存储设备与该目标存储设备之间的数据迁移路径;
指示通过该数据迁移路径将该源存储设备中的数据迁移至该目标存储设备。
可选地,在上述第一至第三种实现方式中:
该处理器110还用于根据样本数据进行训练以生成压力预测模型。
或者,可选地,请继续参考图11,该存储系统1100还包括人工智能芯片1130,该人工智能芯片1130与处理器1110通信连接,例如,该人工智能芯片1130通过总线与处理器1110通信连接。该人工智能芯片1130用于根据样本数据进行训练以生成压力预测模型。
或者,可选地,该压力预测模型是由位于该存储系统1100外部的设备发送而来的。也即是,该压力预测模型由该存储系统1100外部的设备训练好之后发送给该存储系统1100。
可选地,该样本数据包括历史样本数据以及与该历史样本数据对应的未来样本数据,该历史样本数据和该未来样本数据均为压力数据;
该处理器1110和/或该人工智能芯片1130用于:
将该历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据该未来样本数据和该预测压力数据,调整该初始预测模型的模型参数,直至根据该历史样本数据和预测模型预测得到的预测压力数据与该未来样本数据的差异满足预设条件;
将满足该预设条件时的预测模型确定为压力预测模型。
可选地,该历史压力数据和该未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
本领域技术人员容易理解,该图11所示的存储系统1100可以是RAID的内部系统,该图11所示实施例的方案可以是在该RAID内的不同磁盘之间进行数据迁移的方案。如前所述,本申请实施例提供的数据迁移方案不仅可以实现在同一RAID内的不同磁盘之间进行数据迁移,还可以实现不用RAID之间的数据迁移,以及不同数据中心之间的数据迁移,本领域技术人员应当明白,如果是在不同RAID或者不同数据中心之间进行数据迁移,该存储系统可以如图2所示,上述处理器1110和人工智能芯片1130的所有功能将由图2所示存储系统01中的管理设备011来实现。可选地,该管理设备011可以包括图7至图9任一所示的数据迁移装置,或者该管理设备011可以是图10所示的数据迁移装置,本申请实施例在此不再赘述。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行上述实施例提供的数据迁移方法的全部或部分步骤。
本申请实施例提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得该计算机执行上述实施例提供的数据迁移方法的全部或部分步骤。
本申请实施例提供了一种芯片,该芯片包括可编程逻辑电路和/或程序指令,当该芯片运行时用于实现上述实施例提供的数据迁移方法的全部或部分步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机的可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者包含一个或多个可用介质集成的服务器、数据中心等数据存储装置。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质,或者半导体介质(例如固态硬盘)等。
在本申请中,术语“第一”、“第二”和“第三”等类似用词仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“至少一种”指一种或多种,多种指两种或两种以上,除非另有明确的限定。术语“至少两个”指两个或两个以上,除非另有明确的限定。术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例提供的方法实施例和装置实施例等不同类型的实施例均可以相互参考,本申请实施例对此不做限定。本申请实施例提供的方法实施例操作的先后顺序能够进行适当调整,操作也能够根据情况进行响应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
在本申请提供的相应实施例中,应该理解到,所揭露的装置等可以通过其它的构成方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元描述的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络设备(例如终端设备)上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述,仅为本申请的示例性实施例,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种数据迁移方法,其特征在于,所述方法应用于存储系统中,所述存储系统包括至少两个存储设备,所述方法包括:
获得所述至少两个存储设备的历史压力数据,每个所述存储设备的所述历史压力数据用于指示所述存储设备在历史时刻的业务压力状态;
根据压力预测模型以及每个所述存储设备的所述历史压力数据预测所述存储设备的未来压力数据,所述未来压力数据用于指示所述存储设备在未来时刻的业务压力状态;
根据所述至少两个存储设备的所述未来压力数据确定数据迁移时机;
根据所述至少两个存储设备的所述未来压力数据确定所述至少两个存储设备中的源存储设备与所述至少两个存储设备中的目标存储设备之间的数据迁移路径,所述源存储设备和所述目标存储设备中的至少一个是根据所述至少两个存储设备的所述未来压力数据从所述至少两个存储设备中确定的,所述数据迁移路径是所述源存储设备与所述目标存储设备之间的最优路径;
当所述数据迁移时机满足时,指示通过所述数据迁移路径将所述源存储设备中的数据迁移至所述目标存储设备。
2.根据权利要求1所述的方法,其特征在于,
在根据压力预测模型以及每个所述存储设备的所述历史压力数据预测所述存储设备的未来压力数据之前,所述方法还包括:
根据样本数据进行训练以生成所述压力预测模型。
3.根据权利要求2所述的方法,其特征在于,
所述样本数据包括历史样本数据以及与所述历史样本数据对应的未来样本数据,所述历史样本数据和所述未来样本数据均为压力数据;
所述根据样本数据进行训练以生成所述压力预测模型,包括:
将所述历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据所述未来样本数据和所述预测压力数据,调整所述初始预测模型的模型参数,直至根据所述历史样本数据预测得到的预测压力数据与所述未来样本数据的差异满足预设条件;
将满足所述预设条件时的预测模型确定为所述压力预测模型。
4.根据权利要求1至3任一所述的方法,其特征在于,
所述历史压力数据和所述未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
5.一种存储系统,其特征在于,包括处理器和至少两个存储设备;
所述处理器用于:
获得所述至少两个存储设备的历史压力数据,每个所述存储设备的所述历史压力数据用于指示所述存储设备在历史时刻的业务压力状态;
根据压力预测模型以及每个所述存储设备的所述历史压力数据预测所述存储设备的未来压力数据,所述未来压力数据用于指示所述存储设备在未来时刻的业务压力状态;
根据所述至少两个存储设备的所述未来压力数据确定数据迁移时机;
根据所述至少两个存储设备的所述未来压力数据确定所述至少两个存储设备中的源存储设备与所述至少两个存储设备中的目标存储设备之间的数据迁移路径,所述源存储设备和所述目标存储设备中的至少一个是根据所述至少两个存储设备的所述未来压力数据从所述至少两个存储设备中确定的,所述数据迁移路径是所述源存储设备与所述目标存储设备之间的最优路径;
当所述数据迁移时机满足时,指示通过所述数据迁移路径将所述源存储设备中的数据迁移至所述目标存储设备。
6.根据权利要求5所述的存储系统,其特征在于,
所述处理器还用于根据样本数据进行训练以生成所述压力预测模型。
7.根据权利要求5所述的存储系统,其特征在于,
所述存储系统还包括人工智能芯片,所述人工智能芯片用于根据样本数据进行训练以生成所述压力预测模型。
8.根据权利要求5所述的存储系统,其特征在于,
所述压力预测模型是由位于所述存储系统外部的设备发送而来的。
9.根据权利要求6所述的存储系统,其特征在于,
所述样本数据包括历史样本数据以及与所述历史样本数据对应的未来样本数据,所述历史样本数据和所述未来样本数据均为压力数据;
所述处理器用于:
将所述历史样本数据输入初始预测模型进行预测,得到预测压力数据;
根据所述未来样本数据和所述预测压力数据,调整所述初始预测模型的模型参数,直至根据所述历史样本数据预测得到的预测压力数据与所述未来样本数据的差异满足预设条件;
将满足所述预设条件时的预测模型确定为所述压力预测模型。
10.根据权利要求5至9任一所述的存储系统,其特征在于,
所述历史压力数据和所述未来压力数据分别包括存储资源占用率、计算资源占用率和传输资源占用率中的至少一种。
11.一种数据迁移装置,其特征在于,所述数据迁移装置包括:处理器和存储器,所述存储器中存储有程序,所述处理器用于调用所述存储器中存储的程序,使得所述数据迁移装置执行如权利要求1至4任一所述的数据迁移方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至4任一所述的数据迁移方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010256777.XA CN113495680B (zh) | 2020-04-02 | 2020-04-02 | 数据迁移方法及装置、存储系统、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010256777.XA CN113495680B (zh) | 2020-04-02 | 2020-04-02 | 数据迁移方法及装置、存储系统、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113495680A CN113495680A (zh) | 2021-10-12 |
CN113495680B true CN113495680B (zh) | 2024-04-12 |
Family
ID=77994550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010256777.XA Active CN113495680B (zh) | 2020-04-02 | 2020-04-02 | 数据迁移方法及装置、存储系统、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113495680B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114466067B (zh) * | 2021-12-21 | 2023-08-04 | 天翼云科技有限公司 | 一种数据迁移的方法及装置、电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101593133A (zh) * | 2009-06-29 | 2009-12-02 | 北京航空航天大学 | 虚拟机资源负载均衡方法及装置 |
CN107402722A (zh) * | 2017-07-04 | 2017-11-28 | 杭州宏杉科技股份有限公司 | 一种数据迁移方法及存储设备 |
CN108885538A (zh) * | 2016-04-27 | 2018-11-23 | 净睿存储股份有限公司 | 在包括多个存储设备的存储阵列中迁移数据 |
CN109446041A (zh) * | 2018-09-25 | 2019-03-08 | 平安普惠企业管理有限公司 | 一种服务器压力预警方法、系统及终端设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105530273B (zh) * | 2014-09-29 | 2018-08-03 | 国际商业机器公司 | 用于数据迁移的方法和装置 |
-
2020
- 2020-04-02 CN CN202010256777.XA patent/CN113495680B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101593133A (zh) * | 2009-06-29 | 2009-12-02 | 北京航空航天大学 | 虚拟机资源负载均衡方法及装置 |
CN108885538A (zh) * | 2016-04-27 | 2018-11-23 | 净睿存储股份有限公司 | 在包括多个存储设备的存储阵列中迁移数据 |
CN107402722A (zh) * | 2017-07-04 | 2017-11-28 | 杭州宏杉科技股份有限公司 | 一种数据迁移方法及存储设备 |
CN109446041A (zh) * | 2018-09-25 | 2019-03-08 | 平安普惠企业管理有限公司 | 一种服务器压力预警方法、系统及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113495680A (zh) | 2021-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021008285A1 (zh) | 分布式系统的数据同步方法、装置、介质、电子设备 | |
US10652327B2 (en) | Migration of virtual machines | |
US10838803B2 (en) | Resource provisioning and replacement according to a resource failure analysis in disaggregated data centers | |
US11050637B2 (en) | Resource lifecycle optimization in disaggregated data centers | |
US9542296B1 (en) | Disk replacement using a predictive statistical model | |
US8244868B2 (en) | Thin-provisioning adviser for storage devices | |
RU2640724C1 (ru) | Способ устранения неисправностей, устройство и система, основанные на виртуализации сетевых функций | |
US8760780B1 (en) | System and method for disk sector failure prediction | |
US10740138B2 (en) | Migration control apparatus and migration control method | |
US11416166B2 (en) | Distributed function processing with estimate-based scheduler | |
CN110196770B (zh) | 云系统内存数据处理方法、装置、设备及存储介质 | |
US20200097348A1 (en) | Health check diagnostics of resources by instantiating workloads in disaggregated data centers | |
US11188408B2 (en) | Preemptive resource replacement according to failure pattern analysis in disaggregated data centers | |
US20190208011A1 (en) | Accelerating data replication using multicast and non-volatile memory enabled nodes | |
EP3956771B1 (en) | Timeout mode for storage devices | |
US10831580B2 (en) | Diagnostic health checking and replacement of resources in disaggregated data centers | |
CN111399970A (zh) | 一种预留资源管理方法、装置和存储介质 | |
US20200097347A1 (en) | Preemptive deep diagnostics and health checking of resources in disaggregated data centers | |
WO2023093354A1 (en) | Avoidance of workload duplication among split-clusters | |
US11831706B1 (en) | System and method for distributed management of storage systems based on intent | |
CN115269108A (zh) | 一种数据处理方法、装置及设备 | |
CN113495680B (zh) | 数据迁移方法及装置、存储系统、存储介质 | |
CN116467082A (zh) | 一种基于大数据的资源分配方法及系统 | |
US20230185456A1 (en) | Maximizing power savings using io monitoring | |
WO2021159687A1 (zh) | 数据重构方法、存储设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |