CN113886365A - 数据迁移方法、装置、电子设备及可读存储介质 - Google Patents
数据迁移方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113886365A CN113886365A CN202111227746.2A CN202111227746A CN113886365A CN 113886365 A CN113886365 A CN 113886365A CN 202111227746 A CN202111227746 A CN 202111227746A CN 113886365 A CN113886365 A CN 113886365A
- Authority
- CN
- China
- Prior art keywords
- target
- equipment
- storage file
- file
- target storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 96
- 230000005012 migration Effects 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据迁移方法、装置、电子设备及可读存储介质。其中,方法包括当检测到存储系统的目标设备发生故障,获取目标设备的目标存储文件;对每个目标存储文件,分别计算当前目标存储文件的文件名与存储系统的正常设备的设备名之间的哈希值,选择最大哈希值对应的正常设备作为当前目标存储文件的迁移目的端;并记录各目标存储文件和相应迁移目的端之间的对应关系;将各目标存储文件备份至相应的迁移目的端。本申请可将存储设备的故障设备的数据迁移至正常设备上,且不会发生正常设备之间的数据迁移的现象。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据迁移方法、装置、电子设备及可读存储介质。
背景技术
大数据时代,需要处理和存储的数据都是海量的。这使得很多需要存储数据的企业和科研单位后台维护着一套或多套庞大的存储集群。然而,越是庞大的存储集群规模越大,出现设备故障的概率也就越高。这就对整个存储系统处理设备故障的场景提出了较高的要求,也即一方面要求故障对上层应用访问数据造成的影响尽可能小,集群能继续提供服务;另一方面要求利用尽量少的资源、快速恢复故障造成的影响。在整个过程中,数据迁移方法的性能会很大程度影响集群恢复速度。
目前存储系统中通常采用Hash算法和Crush算法执行数据迁移操作,Crush算法本质亦是Hash算法,虽然能够将故障设备数据迁移到其他正常设备中,但是往往会造成正常工作设备间数据的迁移,从而造成资源浪费和效率低下,甚至造成集群在某段时间内不可用。
鉴于此,如何在将存储设备的故障设备的数据迁移至正常设备的基础上,避免正常设备之间的数据迁移,是所属领域技术人员需要解决的技术问题。
发明内容
本申请提供了一种数据迁移方法、装置、电子设备及可读存储介质,可以将存储设备的故障设备的数据迁移至正常设备上,且不会发生正常设备之间的数据迁移的现象。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种数据迁移方法,包括:
当检测到存储系统的目标设备发生故障,获取所述目标设备的目标存储文件;
对每个目标存储文件,分别计算当前目标存储文件的文件名与所述存储系统的正常设备的设备名之间的哈希值,选择最大哈希值对应的正常设备作为所述当前目标存储文件的迁移目的端;并记录各目标存储文件和相应迁移目的端之间的对应关系;
将各目标存储文件备份至相应的迁移目的端。
可选的,所述将各目标存储文件备份至相应的迁移目的端之后,还包括:
将各目标存储文件和相应迁移目的端之间的对应关系存储至数据库中。
可选的,所述获取所述目标设备的目标存储文件之前,还包括:
预先按照预设标识规则为所述存储系统的各设备进行编号,以作为各设备的设备名。
可选的,所述当检测到存储系统的目标设备发生故障,获取所述目标设备的目标存储文件,包括:
若所述存储系统中发生故障的目标设备为多个,则展示优先权设置页面;所述优先权设置页面包括设备展示区域和顺序拖曳调节区域;
响应用户拖曳指令,对所述设备展示区域中各目标设备的顺序进行调节;
按照所述设备展示区域中的排序,依次对各目标设备执行获取所述目标设备的目标存储文件的操作。
可选的,所述当检测到存储系统的目标设备发生故障,获取所述目标设备的目标存储文件,包括:
预先为所述存储系统的各设备设置优先级;
若所述存储系统中发生故障的目标设备为多个,根据各目标设备的优先级进行排序;
按照优先级从高到低,依次对各目标设备执行获取所述目标设备的目标存储文件的操作。
可选的,所述当检测到存储系统的目标设备发生故障,获取所述目标设备的目标存储文件,包括:
若所述存储系统中发生故障的目标设备为多个,则展示用户设置页面;所述用户设置页面包括执行顺序自定义选项和默认选项;
响应用户的执行顺序自定义选项的选择指令,为各目标设备设置任务执行顺序标签,并根据所述任务执行顺序标签依次对各目标设备执行获取所述目标设备的目标存储文件的操作;
响应用户的默认选项选择指令,从各目标设备中随机选择当前处理设备,获取所述当前处理设备的目标存储文件。
本发明实施例另一方面提供了一种数据迁移装置,包括:
故障检测模块,用于监控存储系统中是否存在发生故障的设备;
文件获取模块,用于获取所述目标设备的目标存储文件;
迁移端确定模块,用于对每个目标存储文件,分别计算当前目标存储文件的文件名与所述存储系统的正常设备的设备名之间的哈希值,选择最大哈希值对应的正常设备作为所述当前目标存储文件的迁移目的端;并记录各目标存储文件和相应迁移目的端之间的对应关系;
数据迁移模块,用于将各目标存储文件备份至相应的迁移目的端。
本发明实施例还提供了一种电子设备,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述数据迁移方法的步骤。
本发明实施例最后还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前任一项所述数据迁移方法的步骤。
本申请提供的技术方案的优点在于,将设备名和文件名作为哈希函数入参,把哈希结果最大的设备名作为该文件存储的具体设备,不仅能起到数据大致均匀分布,还可以通过控制正常工作节点间的数据迁移,避免正常设备之间的数据迁移现象发生,只迁移故障节点上的数据,减少整个存储系统的迁移数据的数量,从而可有效减少资源的消耗,避免系统性能下降。
此外,本发明实施例还针对数据迁移方法提供了相应的实现装置、电子设备及可读存储介质,进一步使得所述方法更具有实用性,所述装置、电子设备及可读存储介质具有相应的优点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据迁移方法的流程示意图;
图2为本发明实施例提供的一个现有技术中的示例性应用场景的框架示意图;
图3为本发明实施例提供的一个示例性应用场景的框架示意图;
图4为本发明实施例提供的数据迁移装置的一种具体实施方式结构图;
图5为本发明实施例提供的电子设备的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
首先参见图1,图1为本发明实施例提供的一种数据迁移方法的流程示意图,本发明实施例可包括以下内容:
S101:当检测到存储系统的目标设备发生故障,获取目标设备的目标存储文件。
在本实施例中,目标设备可为1个,也可为多个,这均不影响本申请的实现,目标设备是指存储系统中发生故障的设备,目标存储文件是指目标设备的文件,目标存储文件可包括多个,也为1个。至于故障检测方法可采用任何一种相关技术中的故障检测实现方法,本申请对此不做任何限定。
S102:对每个目标存储文件,分别计算当前目标存储文件的文件名与存储系统的正常设备的设备名之间的哈希值,选择最大哈希值对应的正常设备作为当前目标存储文件的迁移目的端;并记录各目标存储文件和相应迁移目的端之间的对应关系。
现有技术在确定将故障设备的文件迁移的目的端的方法为:通过对文件名进行哈希计算,然后对设备区取余决定改文件所存储的位置,即设备id=hash(文件名)%设备数。这种方法在没有设备故障时非常好用,但当集群出现故障后,由于设备数目变化了,即除数变化了,使得同一个文件最终存储的设备大概率也发生变化。这就导致存储在正常工作设备上的数据会因为其他设备的故障也需要迁移另一个正常工作的设备上,如图2所示,导致不必要的资源浪费和存储系统性能下降。相比传统把需要存储的文件作为Hash函数入参,通过Hash结果和设备总数取余决定该文件存储的具体设备方式,本步骤将文件名和设备名同时作为哈希函数的入参,可以控制正常工作节点间的数据迁移,只迁移故障节点上的数据。
在本实施例中,若目标存储文件有多个,需要对每个目标存储文件均执行一次S102,以确定其相应的迁移目的端。本实施例中的正常设备是指存储系统中运行正常且可足够存储空间可接纳故障设备上的目标存储文件的设备。迁移目的端是指接纳目标存储文件的正常设备。为了标识存储系统中的各设备,还可预先按照预设标识规则为存储系统的各设备进行编号,以作为各设备的设备名。预设标识规则可根据实际应用场景进行灵活选择。
S103:将各目标存储文件备份至相应的迁移目的端。
在上个步骤为每个目标存储文件确定相应的迁移目的端之后,可调用多个线程同时将各目标存储文件迁移至相应的迁移目的端,也可只使用一个线程按照某种固定顺序或随机将各目标存储文件迁移至相应的迁移目的端。为了便于后续数据维护或者数据溯源,还可在执行完该步骤之后,将各目标存储文件和相应迁移目的端之间的对应关系存储至数据库中。也可以在迁移完成一个目标存储文件,便将迁移完成的目标存储文件与相应的迁移目的端的对应关系存储至数据库中。
在本发明实施例提供的技术方案中,将设备名和文件名作为哈希函数入参,把哈希结果最大的设备名作为该文件存储的具体设备,不仅能起到数据大致均匀分布,还可以通过控制正常工作节点间的数据迁移,避免正常设备之间的数据迁移现象发生,只迁移故障节点上的数据,减少整个存储系统的迁移数据的数量,从而可有效减少资源的消耗,避免系统性能下降。
需要说明的是,本申请中各步骤间没有严格的先后执行顺序,只要符合逻辑上的顺序,则这些步骤可以同时执行,也可按照某种预设顺序执行,图1只是一种示意方式,并不代表只能是这样的执行顺序。
不可避免的,存储系统会同时有多个设备发生故障,而上述实施例并未对该应用场景进行限定,基于上述实施例,本申请还提供了多个并列的可选实施方式,用户可根据实际需求灵活选择,提升用户的使用体验,可包括:
作为一种可选的实施方式,若存储系统中发生故障的目标设备为多个,则展示优先权设置页面;优先权设置页面包括设备展示区域和顺序拖曳调节区域;响应用户拖曳指令,对设备展示区域中各目标设备的顺序进行调节;按照设备展示区域中的排序,依次对各目标设备执行获取目标设备的目标存储文件的操作。在本实施例中,顺序拖曳条件区域是指用户选定目标设备,通过上下左右移动可与周围的目标设备调整前后或先后顺序。在确定各目标设备的执行顺序之后,对每个目标设备,依次执行上述S101-S103。
作为另一种可选的实施方式,预先为存储系统的各设备设置优先级;若存储系统中发生故障的目标设备为多个,根据各目标设备的优先级进行排序;按照优先级从高到低,依次对各目标设备执行获取目标设备的目标存储文件的操作。在确定各目标设备的执行顺序之后,对每个目标设备,依次执行上述S101-S103。
作为其他一种可选的实施方式,若存储系统中发生故障的目标设备为多个,则展示用户设置页面;用户设置页面包括执行顺序自定义选项和默认选项;响应用户的执行顺序自定义选项的选择指令,为各目标设备设置任务执行顺序标签,并根据任务执行顺序标签依次对各目标设备执行获取目标设备的目标存储文件的操作;响应用户的默认选项选择指令,从各目标设备中随机选择当前处理设备,获取当前处理设备的目标存储文件。在确定各目标设备的执行顺序之后,对每个目标设备,依次执行上述S101-S103。
为了使所属领域技术人员更加清楚明白本申请的技术方案,本申请还结合图3提供了一个示意性例子,可包括:
A1:对存储系统的所有的存储设备进行编号,比如Bucket1、Buecket2、Bucket3……
A2:当存在故障设备Bucket3,对其上存储文件Files3与其他所有可用设备执行优化过的Hash函数:hash(File3,Bucket1)、hash(File3,Bucket2)、hash(File3,Bucket4)……
A3:取A2:中Hash结果最大的设备为File3迁移后的设备名,如Bucket4,并记录Bucket4和File3之间的对应关系。
A4:将File3文件的备份拷贝到迁移后的设备Bucket4中,完成后将该对应关系保存到数据库中。
由上可知,本实施例通过改进Hash算法,将存储的文件名和设备名共同作为函数的入参,取结果最大值的设备作为对应文件存放的位置。在存储系统中部分设备故障时,能有效减少正常工作设备间的数据迁移,减少存储系统的资源消耗和性能下降。
本发明实施例还针对数据迁移方法提供了相应的装置,进一步使得方法更具有实用性。其中,装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的数据迁移装置进行介绍,下文描述的数据迁移装置与上文描述的数据迁移方法可相互对应参照。
基于功能模块的角度,参见图4,图4为本发明实施例提供的数据迁移装置在一种具体实施方式下的结构图,该装置可包括:
故障检测模块401,用于监控存储系统中是否存在发生故障的设备。
文件获取模块402,用于获取目标设备的目标存储文件。
迁移端确定模块403,用于对每个目标存储文件,分别计算当前目标存储文件的文件名与存储系统的正常设备的设备名之间的哈希值,选择最大哈希值对应的正常设备作为当前目标存储文件的迁移目的端;并记录各目标存储文件和相应迁移目的端之间的对应关系。
数据迁移模块404,用于将各目标存储文件备份至相应的迁移目的端。
可选的,在本实施例的一些实施方式中,上述装置可以包括存储模块,用于将各目标存储文件和相应迁移目的端之间的对应关系存储至数据库中。
可选的,在本实施例的另一些实施方式中,上述装置还可以编号模块,用于预先按照预设标识规则为存储系统的各设备进行编号,以作为各设备的设备名。
可选的,在本实施例的其他一些实施方式中,上述装置例如还可包括并发处理模块,用于若存储系统中发生故障的目标设备为多个,则展示优先权设置页面;优先权设置页面包括设备展示区域和顺序拖曳调节区域;响应用户拖曳指令,对设备展示区域中各目标设备的顺序进行调节;按照设备展示区域中的排序,依次对各目标设备执行获取目标设备的目标存储文件的操作。
作为与上述实施例并列的一种可选的实施方式,上述并发处理模块还可用于:预先为存储系统的各设备设置优先级;若存储系统中发生故障的目标设备为多个,根据各目标设备的优先级进行排序;按照优先级从高到低,依次对各目标设备执行获取目标设备的目标存储文件的操作。
作为与上述实施例并列的另一种可选的实施方式,上述并发处理模块还可进一步用于:若存储系统中发生故障的目标设备为多个,则展示用户设置页面;用户设置页面包括执行顺序自定义选项和默认选项;响应用户的执行顺序自定义选项的选择指令,为各目标设备设置任务执行顺序标签,并根据任务执行顺序标签依次对各目标设备执行获取目标设备的目标存储文件的操作;响应用户的默认选项选择指令,从各目标设备中随机选择当前处理设备,获取当前处理设备的目标存储文件。
本发明实施例数据迁移装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例可以将存储设备的故障设备的数据迁移至正常设备上,且不会发生正常设备之间的数据迁移的现象。
上文中提到的数据迁移装置是从功能模块的角度描述,进一步的,本申请还提供一种电子设备,是从硬件角度描述。图5为本申请实施例提供的电子设备在一种实施方式下的结构示意图。如图5所示,该电子设备包括存储器50,用于存储计算机程序;处理器51,用于执行计算机程序时实现如上述任一实施例提到的数据迁移方法的步骤。
其中,处理器51可以包括一个或多个处理核心,比如4核心处理器、8核心处理器,处理器51还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器51可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable GateArray,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器51也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器51可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器51还可以包括AI(ArtificialIntelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器50可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器50还可包括高速随机存取存储器以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。存储器50在一些实施例中可以是电子设备的内部存储单元,例如服务器的硬盘。存储器50在另一些实施例中也可以是电子设备的外部存储设备,例如服务器上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器50还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器50不仅可以用于存储安装于电子设备的应用软件及各类数据,例如:执行漏洞处理方法的程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中,存储器50至少用于存储以下计算机程序501,其中,该计算机程序被处理器51加载并执行之后,能够实现前述任一实施例公开的数据迁移方法的相关步骤。另外,存储器50所存储的资源还可以包括操作系统502和数据503等,存储方式可以是短暂存储或者永久存储。其中,操作系统502可以包括Windows、Unix、Linux等。数据503可以包括但不限于数据迁移结果对应的数据等。
在一些实施例中,上述电子设备还可包括有显示屏52、输入输出接口53、通信接口54或者称为网络接口、电源55以及通信总线56。其中,显示屏52、输入输出接口53比如键盘(Keyboard)属于用户接口,可选的用户接口还可以包括标准的有线接口、无线接口等。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口54可选的可以包括有线接口和/或无线接口,如WI-FI接口、蓝牙接口等,通常用于在电子设备与其他电子设备之间建立通信连接。通信总线56可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extendedindustry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解,图5中示出的结构并不构成对该电子设备的限定,可以包括比图示更多或更少的组件,例如还可包括实现各类功能的传感器57。
本发明实施例所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例可以将存储设备的故障设备的数据迁移至正常设备上,且不会发生正常设备之间的数据迁移的现象。
可以理解的是,如果上述实施例中的数据迁移方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器(例如SD或DX存储器等)、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此,本发明实施例还提供了一种可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时如上任意一实施例所述数据迁移方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种数据迁移方法、装置、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种数据迁移方法,其特征在于,包括:
当检测到存储系统的目标设备发生故障,获取所述目标设备的目标存储文件;
对每个目标存储文件,分别计算当前目标存储文件的文件名与所述存储系统的正常设备的设备名之间的哈希值,选择最大哈希值对应的正常设备作为所述当前目标存储文件的迁移目的端;并记录各目标存储文件和相应迁移目的端之间的对应关系;
将各目标存储文件备份至相应的迁移目的端。
2.根据权利要求1所述的数据迁移方法,其特征在于,所述将各目标存储文件备份至相应的迁移目的端之后,还包括:
将各目标存储文件和相应迁移目的端之间的对应关系存储至数据库中。
3.根据权利要求2所述的数据迁移方法,其特征在于,所述获取所述目标设备的目标存储文件之前,还包括:
预先按照预设标识规则为所述存储系统的各设备进行编号,以作为各设备的设备名。
4.根据权利要求1至3任意一项所述的数据迁移方法,其特征在于,所述当检测到存储系统的目标设备发生故障,获取所述目标设备的目标存储文件,包括:
若所述存储系统中发生故障的目标设备为多个,则展示优先权设置页面;所述优先权设置页面包括设备展示区域和顺序拖曳调节区域;
响应用户拖曳指令,对所述设备展示区域中各目标设备的顺序进行调节;
按照所述设备展示区域中的排序,依次对各目标设备执行获取所述目标设备的目标存储文件的操作。
5.根据权利要求1至3任意一项所述的数据迁移方法,其特征在于,所述当检测到存储系统的目标设备发生故障,获取所述目标设备的目标存储文件,包括:
预先为所述存储系统的各设备设置优先级;
若所述存储系统中发生故障的目标设备为多个,根据各目标设备的优先级进行排序;
按照优先级从高到低,依次对各目标设备执行获取所述目标设备的目标存储文件的操作。
6.根据权利要求1至3任意一项所述的数据迁移方法,其特征在于,所述当检测到存储系统的目标设备发生故障,获取所述目标设备的目标存储文件,包括:
若所述存储系统中发生故障的目标设备为多个,则展示用户设置页面;所述用户设置页面包括执行顺序自定义选项和默认选项;
响应用户的执行顺序自定义选项的选择指令,为各目标设备设置任务执行顺序标签,并根据所述任务执行顺序标签依次对各目标设备执行获取所述目标设备的目标存储文件的操作;
响应用户的默认选项选择指令,从各目标设备中随机选择当前处理设备,获取所述当前处理设备的目标存储文件。
7.一种数据迁移装置,其特征在于,包括:
故障检测模块,用于监控存储系统中是否存在发生故障的设备;
文件获取模块,用于获取所述目标设备的目标存储文件;
迁移端确定模块,用于对每个目标存储文件,分别计算当前目标存储文件的文件名与所述存储系统的正常设备的设备名之间的哈希值,选择最大哈希值对应的正常设备作为所述当前目标存储文件的迁移目的端;并记录各目标存储文件和相应迁移目的端之间的对应关系;
数据迁移模块,用于将各目标存储文件备份至相应的迁移目的端。
8.根据权利要求7所述的数据迁移装置,其特征在于,还包括存储模块,用于将各目标存储文件和相应迁移目的端之间的对应关系存储至数据库中。
9.一种电子设备,其特征在于,包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至6任一项所述数据迁移方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据迁移方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111227746.2A CN113886365A (zh) | 2021-10-21 | 2021-10-21 | 数据迁移方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111227746.2A CN113886365A (zh) | 2021-10-21 | 2021-10-21 | 数据迁移方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113886365A true CN113886365A (zh) | 2022-01-04 |
Family
ID=79004249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111227746.2A Pending CN113886365A (zh) | 2021-10-21 | 2021-10-21 | 数据迁移方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113886365A (zh) |
-
2021
- 2021-10-21 CN CN202111227746.2A patent/CN113886365A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111625401B (zh) | 基于集群文件系统的数据备份方法、装置及可读存储介质 | |
CN107431696A (zh) | 用于应用自动化部署的方法和云管理节点 | |
CN111125444A (zh) | 大数据任务调度管理方法、装置、设备及存储介质 | |
CN114024834B (zh) | 故障定位方法、装置、电子设备及可读存储介质 | |
WO2014133512A1 (en) | Providing code change job sets of different sizes to validators | |
CN111857966A (zh) | 虚拟机快照创建方法、装置及计算机可读存储介质 | |
CN112269536A (zh) | 存储软件系统调优方法、装置及计算机可读存储介质 | |
CN111176790A (zh) | 云平台物理主机的主动维护方法、装置及可读存储介质 | |
JP5740338B2 (ja) | 仮想環境運用支援システム | |
CN113687779B (zh) | 数据迁移方法、装置、电子设备及可读存储介质 | |
CN109002348B (zh) | 一种虚拟化系统中的负载均衡方法及装置 | |
CN113821302A (zh) | 虚拟化云平台部署虚拟机的方法、装置、电子设备及介质 | |
CN108733536B (zh) | 监控管理系统及方法 | |
CN116662039B (zh) | 基于共享内存的工业信息并行检测方法、装置及介质 | |
CN117806799A (zh) | 一种批量任务分布式调度方法及装置 | |
CN114647548A (zh) | 一种日志生成方法及装置 | |
CN113886365A (zh) | 数据迁移方法、装置、电子设备及可读存储介质 | |
CN111158877A (zh) | 大数据平台的事件管理方法、装置及计算机可读存储介质 | |
CN113849229A (zh) | 服务器开机方法、装置、电子设备及可读存储介质 | |
CN112988540B (zh) | 图元替换方法、系统、计算机可读存储介质及终端设备 | |
US20230088318A1 (en) | Remotely healing crashed processes | |
CN114218001A (zh) | 故障修复方法、装置、电子设备及可读存储介质 | |
CN115390992A (zh) | 一种虚拟机创建方法、装置、设备和存储介质 | |
CN114020717A (zh) | 分布式存储系统的性能数据获取方法、装置、设备及介质 | |
CN114721876A (zh) | 一种数据备份方法、装置、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |