CN116028280A - 一种跨集群数据迁移方法、装置、设备和介质 - Google Patents

一种跨集群数据迁移方法、装置、设备和介质 Download PDF

Info

Publication number
CN116028280A
CN116028280A CN202211712319.8A CN202211712319A CN116028280A CN 116028280 A CN116028280 A CN 116028280A CN 202211712319 A CN202211712319 A CN 202211712319A CN 116028280 A CN116028280 A CN 116028280A
Authority
CN
China
Prior art keywords
metadata
cluster
data
service data
storage area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211712319.8A
Other languages
English (en)
Inventor
赵程程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202211712319.8A priority Critical patent/CN116028280A/zh
Publication of CN116028280A publication Critical patent/CN116028280A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据存储技术领域,公开了一种跨集群数据迁移方法、装置、设备和介质,将源集群中各命名空间对应的元数据备份至设定的存储区域;依据各命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份。在检测到存储区域记录的元数据满足数据还原条件的情况下,依据元数据包含的资源依赖关系,在目的集群上依次还原元数据对应的基础资源。依据映射信息将记录有业务数据的卷挂载在目的集群的pod中。业务数据记录在卷上,将卷挂载在目的集群对应的pod上便完成了业务数据的迁移。依赖于第三方迁移工具可以快速的完成源集群向目的集群的数据迁移,用户无需再根据迁移手册进行跨集群迁移,降低了跨集群数据迁移的难度。

Description

一种跨集群数据迁移方法、装置、设备和介质
技术领域
本申请涉及数据存储技术领域,特别是涉及一种跨集群数据迁移方法、装置、设备和计算机可读存储介质。
背景技术
容器是近年来火热的一项技术,开发者可以打包应用到一个可移植的容器中,然后发布到任何流行的linux机器上,也可以实现虚拟化。容器完全使用沙箱机制,可以很容易的在机器和数据中心中运行,而且不依赖与任何语言、框架包括系统,因此成为linux系统中很多服务程序实现的不二选择,但是当服务集群中某个服务器出现故障后,可能造成严重的数据流失,甚至无法组网的情况出现,或者当某个服务器需要进行更换时,都需要进行集群迁移。
数据对于客户来说是至关重要的,由于数据丢失导致财产损失的问题不在少数,因此用户对数据的备份、迁移等功能越来越重视,如何能将数据完整、安全的迁移到目标集群,也是用户越来越关注的功能。
目前的容器跨集群迁移技术,用户需要根据迁移手册进行跨集群迁移,整个迁移过程需要大量的人工干预,且操作步骤复杂,流程较长,对用户的业务水平要求也比较高。
可见,如何降低跨集群数据迁移的难度,是本领域技术人员需要解决的问题。
发明内容
本申请实施例的目的是提供一种跨集群数据迁移方法、装置、设备和计算机可读存储介质,可以降低跨集群数据迁移的难度。
为解决上述技术问题,本申请实施例提供一种跨集群数据迁移方法,包括:
将源集群中各命名空间对应的元数据备份至设定的存储区域;
依据各所述命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份;
在检测到所述存储区域记录的元数据满足数据还原条件的情况下,依据所述元数据包含的资源依赖关系,在目的集群上依次还原所述元数据对应的基础资源;
依据所述映射信息将记录有业务数据的卷挂载在所述目的集群的pod中,以完成业务数据的迁移。
可选地,所述将源集群中各命名空间对应的元数据备份至设定的存储区域包括:
从所述源集群上读取各命名空间包含的资源;
将各所述资源对应的元数据合并上传至设定的存储区域。
可选地,在所述将源集群中各命名空间对应的元数据备份至设定的存储区域之前还包括:
预先设置与不同存储方式相匹配的接口;其中,所述接口包括对象存储接口、文件存储接口和块存储接口;
相应的,所述将各所述资源对应的元数据合并上传至设定的存储区域包括:
调用与所述存储区域的类型匹配的接口,将各所述资源对应的元数据合并上传至所述存储区域。
可选地,所述依据各所述命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份包括:
获取各所述命名空间下pod上已挂载的卷以及映射信息;
基于所述映射信息获取对应的业务数据,将所述业务数据压缩后保存至所述存储区域。
可选地,所述在检测到所述存储区域记录的元数据满足数据还原条件的情况下,依据所述元数据包含的资源依赖关系,在目的集群上依次还原所述元数据对应的基础资源包括:
判断所述存储区域是否存在待处理的元数据;
在所述存储区域存在待处理的元数据的情况下,从所述存储区域读取所述待处理的元数据;
依据所述待处理的元数据记录的各个资源类型和资源顺序,依次在所述目的集群上创建基础资源。
可选地,还包括:
在完成所述基础资源的创建后,从所述存储区域中删除所述待处理的元数据。
可选地,所述依据所述映射信息将记录有业务数据的卷挂载在所述目的集群的pod中,以完成业务数据的迁移包括:
在所述目的集群的目的pod内注入初始化容器;
获取所述存储区域中记录的业务数据,并依据所述映射信息中记录的卷和pod的挂载关系,建立所述业务数据所属的卷与所述目的pod的映射关系。
本申请实施例还提供了一种跨集群数据迁移装置,包括元数据备份单元、业务数据备份单元、元数据还原单元和业务数据还原单元;
所述元数据备份单元,用于将源集群中各命名空间对应的元数据备份至设定的存储区域;
所述业务数据备份单元,用于依据各所述命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份;
所述元数据还原单元,用于在检测到所述存储区域记录的元数据满足数据还原条件的情况下,依据所述元数据包含的资源依赖关系,在目的集群上依次还原所述元数据对应的基础资源;
所述业务数据还原单元,用于依据所述映射信息将记录有业务数据的卷挂载在所述目的集群的pod中,以完成业务数据的迁移。
可选地,所述元数据备份单元包括读取子单元和上传子单元;
所述读取子单元,用于从所述源集群上读取各命名空间包含的资源;
所述上传子单元,用于将各所述资源对应的元数据合并上传至设定的存储区域。
可选地,在所述将源集群中各命名空间对应的元数据备份至设定的存储区域之前还包括设置单元;
所述设置单元,用于预先设置与不同存储方式相匹配的接口;其中,所述接口包括对象存储接口、文件存储接口和块存储接口;
相应的,所述上传子单元用于调用与所述存储区域的类型匹配的接口,将各所述资源对应的元数据合并上传至所述存储区域。
可选地,所述业务数据备份单元包括获取子单元和保存子单元;
所述获取子单元,用于获取各所述命名空间下pod上已挂载的卷以及映射信息;
所述保存子单元,用于基于所述映射信息获取对应的业务数据,将所述业务数据压缩后保存至所述存储区域。
可选地,所述元数据还原单元包括判断子单元、读取子单元和创建子单元;
所述判断子单元,用于判断所述存储区域是否存在待处理的元数据;
所述读取子单元,用于在所述存储区域存在待处理的元数据的情况下,从所述存储区域读取所述待处理的元数据;
所述创建子单元,用于依据所述待处理的元数据记录的各个资源类型和资源顺序,依次在所述目的集群上创建基础资源。
可选地,还包括删除单元;
所述删除单元,用于在完成所述基础资源的创建后,从所述存储区域中删除所述待处理的元数据。
可选地,所述业务数据还原单元包括注入子单元、获取子单元和建立子单元;
所述注入子单元,用于在所述目的集群的目的pod内注入初始化容器;
所述获取子单元,用于获取所述存储区域中记录的业务数据;
所述建立子单元,用于依据所述映射信息中记录的卷和pod的挂载关系,建立所述业务数据所属的卷与所述目的pod的映射关系。
本申请实施例还提供了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现如上述跨集群数据迁移方法的步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述跨集群数据迁移方法的步骤。
由上述技术方案可以看出,将源集群中各命名空间对应的元数据备份至设定的存储区域;依据各命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份。在检测到存储区域记录的元数据满足数据还原条件的情况下,依据元数据包含的资源依赖关系,在目的集群上依次还原元数据对应的基础资源。依据映射信息将记录有业务数据的卷挂载在目的集群的pod中。业务数据记录在卷上,将卷挂载在目的集群对应的pod上便完成了业务数据的迁移,此时基于目标集群的pod便可以完成对业务数据的调用。在该技术方案中,依赖于第三方迁移工具可以快速的完成源集群向目的集群的数据迁移,以命名空间为最小处理单元进行元数据和业务数据的迁移,可以适用于多命名空间或者整个集群备份的场景。按照设定的迁移逻辑,在元数据满足数据还原条件的情况下,可以自动完成元数据和业务数据向目的集群的迁移,操作方式简单、不易出错,且效率高,用户无需再根据迁移手册进行跨集群迁移,降低了跨集群数据迁移的难度。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种跨集群数据迁移方法的流程图;
图2为本申请实施例提供的一种元数据备份的示意图;
图3为本申请实施例提供的一种业务数据备份的示意图;
图4为本申请实施例提供的一种在目的集群上还原元数据的示意图;
图5为本申请实施例提供的一种在目的集群上还原业务数据的示意图;
图6为本申请实施例提供的一种数据迁移过程中集群交互的示意图;
图7为本申请实施例提供的一种跨集群数据迁移装置的结构示意图;
图8为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本申请保护范围。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”,以及与“包括”和“具有”相关的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。
接下来,详细介绍本申请实施例所提供的一种跨集群数据迁移方法。图1为本申请实施例提供的一种跨集群数据迁移方法的流程图,该方法包括:
S101:将源集群中各命名空间对应的元数据备份至设定的存储区域。
在本申请实施例中,可以以命名空间(namespace)为最小处理单元,进行数据的迁移操作。这种方法适用面比较广,客户需求比较多,适合大数量数据迁移的场景。
不同namespace所包含的资源类型有所差异,在namespace中记录有各资源所对应的字段。例如,namespace所包含的资源类型可以包括pod、configmap、pvc、service等。
在具体实现中,可以从源集群上读取各命名空间包含的资源;将各资源对应的元数据合并上传至设定的存储区域。
存储区域可以为迁移工具的本地存储或者为第三方存储。其中,第三方存储指的是独立于迁移工具之外的存储空间。在本申请实施例中,对于存储区域所在的位置不做限定。
在具体实现中,针对于迁移工具所需实现的功能不同,可以在迁移工具上部署不同的软件模组,例如,针对于备份功能可以设置备份监听模组(backup)。
图2为本申请实施例提供的一种元数据备份的示意图,图2中K8S指的是源集群。图2中是以两个命名空间为例,分别为namespace1和namespace2,在每个命名空间中包含有pod、configmap、pvc、service、workload等五种类型的资源。需要说明的是,图2中命名空间包含的资源类型仅为举例说明,在实际应用中,不同命名空间所包含的资源类型可以更多或更少,在此不做限定。迁移工具上部署有控制器(controller)、备份监听模组(backup)和上传模组(BSL)。其中,BSL可以用于将备份的数据上传到存储区域中。对于元数据的备份而言,其处理流程可以由controller调用backup从源集群上读取各命名空间包含的资源,然后调用BSL将各资源对应的元数据合并上传至设定的存储区域,图2中将设定的存储区域称作目的存储。
S102:依据各命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份。
每个命名空间下包含有pod,pod资源是K8s集群中最小的调度单元,应用程序以容器的身份运行,从而实现容器化,K8s集群作为容器编排工具,就是靠Pod资源进行管理的。
但是业务数据并非直接记录在pod上,而是存储在卷(lun)上,通过将卷挂载在pod上,从而实现对业务数据的调取。
因此在实际应用中,在进行业务数据的备份时,可以先获取各命名空间下pod上已挂载的卷以及映射信息。
映射信息中包含了卷和pod的挂载关系以及业务数据的存储路径。基于存储路径可以获取源集群上的业务数据,然后将业务数据压缩后保存至存储区域。
图3为本申请实施例提供的一种业务数据备份的示意图,迁移工具上可以部署业务数据处理模组(restic),restic主要用于对业务数据进行处理,包括业务数据的备份和还原等操作。图3中K8S主机指的是源集群。对于业务数据的备份而言,其处理流程可以由controller获取源集群的pod上已挂载的卷以及映射信息,其中映射设备包含pod和卷的挂载信息。controller可以调用restic从源集群中读取业务数据,由BSL将业务数据压缩后保存至存储介质上。
S103:在检测到存储区域记录的元数据满足数据还原条件的情况下,依据元数据包含的资源依赖关系,在目的集群上依次还原元数据对应的基础资源。
在具体实现中,可以判断存储区域是否存在待处理的元数据。在存储区域不存在待处理的元数据的情况下,说明目前不具有数据迁移的需求,继续对存储区域进行监控即可。
在存储区域存在待处理的元数据的情况下,说明当前具有数据迁移的需求,此时可以从存储区域读取待处理的元数据;依据待处理的元数据记录的各个资源类型和资源顺序,依次在目的集群上创建基础资源。
为了避免相同元数据的重复迁移,可以在完成基础资源的创建后,从存储区域中删除待处理的元数据。除了删除元数据的方式外,也可以对已经完成迁移的元数据设置已处理标识,从而避免相同元数据的重复处理。
图4为本申请实施例提供的一种在目的集群上还原元数据的示意图,在迁移工具上可以部署还原模组(restore)。图4中K8S指的是目的集群。以namespace、pvc、workload和service的顺序为例,在具体实现中,controller可以调用restore对存储区域上的元数据进行监听,当存储区域存在待处理的元数据的情况下,可以在目的集群上依次恢复namespace、恢复pvc、恢复工作负载(workload)、恢复service。恢复指的是在目的集群上复原出与源集群相同的资源。图4中提及的backup和BSL属于元数据备份时controller调用的功能模组,其具体处理流程可以参见图2的介绍,在此不再赘述。
S104:依据映射信息将记录有业务数据的卷挂载在目的集群的pod中,以完成业务数据的迁移。
根据映射信息可以确定出业务数据所在的卷具体挂载在哪个pod上,通过将卷挂载在目的集群的pod上,可以保证目的集群实现对业务数据的调用,保证了目的集群上数据的可用性。
在具体实现中,可以在目的集群的目的pod内注入初始化容器;获取存储区域中记录的业务数据,并依据映射信息中记录的卷和pod的挂载关系,建立业务数据所属的卷与目的pod的映射关系。
图5为本申请实施例提供的一种在目的集群上还原业务数据的示意图,业务数据的还原可以调用restic实现。controller通过backup资源可以自动感知要恢复数据的挂载路径,在想要恢复业务数据的业务容器所属的pod内注入初始化容器(initContainer)以启动数据恢复,调用restic获取存储介质内的业务数据并拷贝到所感知的挂载路径下,从而完成业务数据的迁移。
在本申请实施例中,通过迁移工具可以实现与源集群和目的集群的交互,迁移工具通过对源集群上的元数据和业务数据进行备份,并依据备份的元数据可以在目的集群上重建出与源集群相同的架构,然后调整业务数据所在卷的挂载关系,将卷挂载在目的集群的pod上,可以保证目的集群实现对业务数据的调用,从而完成了数据的迁移。
图6为本申请实施例提供的一种数据迁移过程中集群交互的示意图,源集群(源k8s)和目的集群(目的k8s)可以通过迁移工具实现数据的迁移。迁移工具上可以包括用于存储元数据和业务数据的存储区域。当然存储区域也可以为第三方存储,对此不做限定。对于元数据的备份和还原可以由迁移工具上部署的velero模组实现,对于业务数据的备份和还原可以由迁移工具上部署的restic模组实现。在具体实现中,controller可以调用velero模组从源k8s上读取各命名空间包含的资源,以获取各资源对应的元数据,从而在本地存储或第三方存储上压缩保存元数据。在完成元数据的备份后,velero可以向restic模组下发调度备份业务数据的指令,restic模组会从源k8s上读取业务数据,从而将业务数据及其对应的目录进行保存。为了便于区分,可以将存储区域上记录的目录称作备份目录。在该目录中记录有卷和pod的挂载关系。
在执行元数据的还原时,velero模组可以从本地存储或者第三方存储中读取元数据,然后按照元数据中记录的各资源的顺序,在目的k8s上顺序还原基础资源。在执行业务数据的还原时,可以通过修改pod元数据,在pod上注入initContainer启动业务数据的恢复流程。在元数据还原阶段,目的k8s上已经完成了pod的创建,因此在执行业务数据的还原时,可以到pod的指定目录下读取业务数据,从而将读取的业务数据挂载在目的k8s对应的pod下。
由上述技术方案可以看出,将源集群中各命名空间对应的元数据备份至设定的存储区域;依据各命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份。在检测到存储区域记录的元数据满足数据还原条件的情况下,依据元数据包含的资源依赖关系,在目的集群上依次还原元数据对应的基础资源。依据映射信息将记录有业务数据的卷挂载在目的集群的pod中。业务数据记录在卷上,将卷挂载在目的集群对应的pod上便完成了业务数据的迁移,此时基于目标集群的pod便可以完成对业务数据的调用。在该技术方案中,依赖于第三方迁移工具可以快速的完成源集群向目的集群的数据迁移,以命名空间为最小处理单元进行元数据和业务数据的迁移,可以适用于多命名空间或者整个集群备份的场景。按照设定的迁移逻辑,在元数据满足数据还原条件的情况下,可以自动完成元数据和业务数据向目的集群的迁移,操作方式简单、不易出错,且效率高,用户无需再根据迁移手册进行跨集群迁移,降低了跨集群数据迁移的难度。
在本申请实施例中,为了满足不同存储方式的存储需求,可以预先设置与不同存储方式相匹配的接口。
常见的存储方式包括对象存储、文件存储和块存储,因此设置的接口可以包括对象存储接口、文件存储接口和块存储接口。
以元数据的备份为例,在实际应用中,可以调用与存储区域的类型匹配的接口,将各资源对应的元数据合并上传至存储区域。
通过设置多种类型的接口,可以满足不同的存储需求,使得数据的存储不再局限于对象存储。
图7为本申请实施例提供的一种跨集群数据迁移装置的结构示意图,包括元数据备份单元71、业务数据备份单元72、元数据还原单元73和业务数据还原单元74;
元数据备份单元71,用于将源集群中各命名空间对应的元数据备份至设定的存储区域;
在本申请实施例中,可以以命名空间(namespace)为最小处理单元,进行数据的迁移操作。这种方法适用面比较广,客户需求比较多,适合大数量数据迁移的场景。除此之外,也可以以workload或者release等作为数据迁移的处理单元。
存储区域可以为迁移工具的本地存储或者为第三方存储。其中,第三方存储指的是独立于迁移工具之外的存储空间。在本申请实施例中,对于存储区域所在的位置不做限定。
业务数据备份单元72,用于依据各命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份;
元数据还原单元73,用于在检测到存储区域记录的元数据满足数据还原条件的情况下,依据元数据包含的资源依赖关系,在目的集群上依次还原元数据对应的基础资源;
业务数据还原单元74,用于依据映射信息将记录有业务数据的卷挂载在目的集群的pod中,以完成业务数据的迁移。
可选地,元数据备份单元包括读取子单元和上传子单元;
读取子单元,用于从源集群上读取各命名空间包含的资源;
上传子单元,用于将各资源对应的元数据合并上传至设定的存储区域。
可选地,在将源集群中各命名空间对应的元数据备份至设定的存储区域之前还包括设置单元;
设置单元,用于预先设置与不同存储方式相匹配的接口;其中,接口包括对象存储接口、文件存储接口和块存储接口;
相应的,上传子单元用于调用与存储区域的类型匹配的接口,将各资源对应的元数据合并上传至存储区域。
可选地,业务数据备份单元包括获取子单元和保存子单元;
获取子单元,用于获取各命名空间下pod上已挂载的卷以及映射信息;
保存子单元,用于基于映射信息获取对应的业务数据,将业务数据压缩后保存至存储区域。
可选地,元数据还原单元包括判断子单元、读取子单元和创建子单元;
判断子单元,用于判断存储区域是否存在待处理的元数据;
读取子单元,用于在存储区域存在待处理的元数据的情况下,从存储区域读取待处理的元数据;
创建子单元,用于依据待处理的元数据记录的各个资源类型和资源顺序,依次在目的集群上创建基础资源。
可选地,还包括删除单元;
删除单元,用于在完成基础资源的创建后,从存储区域中删除待处理的元数据。
可选地,业务数据还原单元包括注入子单元、获取子单元和建立子单元;
注入子单元,用于在目的集群的目的pod内注入初始化容器;
获取子单元,用于获取存储区域中记录的业务数据;
建立子单元,用于依据映射信息中记录的卷和pod的挂载关系,建立业务数据所属的卷与目的pod的映射关系。
图7所对应实施例中特征的说明可以参见图1所对应实施例的相关说明,这里不再一一赘述。
由上述技术方案可以看出,将源集群中各命名空间对应的元数据备份至设定的存储区域;依据各命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份。在检测到存储区域记录的元数据满足数据还原条件的情况下,依据元数据包含的资源依赖关系,在目的集群上依次还原元数据对应的基础资源。依据映射信息将记录有业务数据的卷挂载在目的集群的pod中。业务数据记录在卷上,将卷挂载在目的集群对应的pod上便完成了业务数据的迁移,此时基于目标集群的pod便可以完成对业务数据的调用。在该技术方案中,依赖于第三方迁移工具可以快速的完成源集群向目的集群的数据迁移,以命名空间为最小处理单元进行元数据和业务数据的迁移,可以适用于多命名空间或者整个集群备份的场景。按照设定的迁移逻辑,在元数据满足数据还原条件的情况下,可以自动完成元数据和业务数据向目的集群的迁移,操作方式简单、不易出错,且效率高,用户无需再根据迁移手册进行跨集群迁移,降低了跨集群数据迁移的难度。图8为本申请实施例提供的一种电子设备的结构图,如图8所示,电子设备包括:存储器20,用于存储计算机程序;
处理器21,用于执行计算机程序时实现如上述实施例跨集群数据迁移方法的步骤。
本实施例提供的电子设备可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中,处理器21可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器21可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器21还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器20至少用于存储以下计算机程序201,其中,该计算机程序被处理器21加载并执行之后,能够实现前述任一实施例公开的跨集群数据迁移方法的相关步骤。另外,存储器20所存储的资源还可以包括操作系统202和数据203等,存储方式可以是短暂存储或者永久存储。其中,操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于元数据、业务数据等。
在一些实施例中,电子设备还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解,图8中示出的结构并不构成对电子设备的限定,可以包括比图示更多或更少的组件。
可以理解的是,如果上述实施例中的跨集群数据迁移方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此,本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述跨集群数据迁移方法的步骤。
以上对本申请实施例所提供的一种跨集群数据迁移方法、装置、设备和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上对本申请所提供的一种跨集群数据迁移方法、装置、设备和计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种跨集群数据迁移方法,其特征在于,包括:
将源集群中各命名空间对应的元数据备份至设定的存储区域;
依据各所述命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份;
在检测到所述存储区域记录的元数据满足数据还原条件的情况下,依据所述元数据包含的资源依赖关系,在目的集群上依次还原所述元数据对应的基础资源;
依据所述映射信息将记录有业务数据的卷挂载在所述目的集群的pod中,以完成业务数据的迁移。
2.根据权利要求1所述的跨集群数据迁移方法,其特征在于,所述将源集群中各命名空间对应的元数据备份至设定的存储区域包括:
从所述源集群上读取各命名空间包含的资源;
将各所述资源对应的元数据合并上传至设定的存储区域。
3.根据权利要求2所述的跨集群数据迁移方法,其特征在于,在所述将源集群中各命名空间对应的元数据备份至设定的存储区域之前还包括:
预先设置与不同存储方式相匹配的接口;其中,所述接口包括对象存储接口、文件存储接口和块存储接口;
相应的,所述将各所述资源对应的元数据合并上传至设定的存储区域包括:
调用与所述存储区域的类型匹配的接口,将各所述资源对应的元数据合并上传至所述存储区域。
4.根据权利要求1所述的跨集群数据迁移方法,其特征在于,所述依据各所述命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份包括:
获取各所述命名空间下pod上已挂载的卷以及映射信息;
基于所述映射信息获取对应的业务数据,将所述业务数据压缩后保存至所述存储区域。
5.根据权利要求1所述的跨集群数据迁移方法,其特征在于,所述在检测到所述存储区域记录的元数据满足数据还原条件的情况下,依据所述元数据包含的资源依赖关系,在目的集群上依次还原所述元数据对应的基础资源包括:
判断所述存储区域是否存在待处理的元数据;
在所述存储区域存在待处理的元数据的情况下,从所述存储区域读取所述待处理的元数据;
依据所述待处理的元数据记录的各个资源类型和资源顺序,依次在所述目的集群上创建基础资源。
6.根据权利要求5所述的跨集群数据迁移方法,其特征在于,还包括:
在完成所述基础资源的创建后,从所述存储区域中删除所述待处理的元数据。
7.根据权利要求1所述的跨集群数据迁移方法,其特征在于,所述依据所述映射信息将记录有业务数据的卷挂载在所述目的集群的pod中,以完成业务数据的迁移包括:
在所述目的集群的目的pod内注入初始化容器;
获取所述存储区域中记录的业务数据,并依据所述映射信息中记录的卷和pod的挂载关系,建立所述业务数据所属的卷与所述目的pod的映射关系。
8.一种跨集群数据迁移装置,其特征在于,包括元数据备份单元、业务数据备份单元、元数据还原单元和业务数据还原单元;
所述元数据备份单元,用于将源集群中各命名空间对应的元数据备份至设定的存储区域;
所述业务数据备份单元,用于依据各所述命名空间下pod上已挂载的卷以及映射信息,进行业务数据的备份;
所述元数据还原单元,用于在检测到所述存储区域记录的元数据满足数据还原条件的情况下,依据所述元数据包含的资源依赖关系,在目的集群上依次还原所述元数据对应的基础资源;
所述业务数据还原单元,用于依据所述映射信息将记录有业务数据的卷挂载在所述目的集群的pod中,以完成业务数据的迁移。
9.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现如权利要求1至7任意一项所述跨集群数据迁移方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述跨集群数据迁移方法的步骤。
CN202211712319.8A 2022-12-29 2022-12-29 一种跨集群数据迁移方法、装置、设备和介质 Pending CN116028280A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211712319.8A CN116028280A (zh) 2022-12-29 2022-12-29 一种跨集群数据迁移方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211712319.8A CN116028280A (zh) 2022-12-29 2022-12-29 一种跨集群数据迁移方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN116028280A true CN116028280A (zh) 2023-04-28

Family

ID=86071771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211712319.8A Pending CN116028280A (zh) 2022-12-29 2022-12-29 一种跨集群数据迁移方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN116028280A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737466A (zh) * 2023-08-15 2023-09-12 中移(苏州)软件技术有限公司 备份处理方法、装置、系统、电子设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737466A (zh) * 2023-08-15 2023-09-12 中移(苏州)软件技术有限公司 备份处理方法、装置、系统、电子设备及可读存储介质
CN116737466B (zh) * 2023-08-15 2023-11-03 中移(苏州)软件技术有限公司 备份处理方法、装置、系统、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109558215B (zh) 虚拟机的备份方法、恢复方法、装置及备份服务器集群
US9823877B2 (en) Virtual machine backup from storage snapshot
AU2014374256B2 (en) Systems and methods for improving snapshot performance
US11199971B2 (en) Managing operational parameters for migrating data for resized volumes
US20130091376A1 (en) Self-repairing database system
US8627033B2 (en) Storage device migration and redirection
CN111913663A (zh) 存储卷在线迁移的方法、装置和存储卷在线迁移的系统
US10628070B2 (en) Selecting and compressing target files to obtain additional free data storage space to perform an operation in a virtual machine
CN116028280A (zh) 一种跨集群数据迁移方法、装置、设备和介质
CN109947712A (zh) 计算框架内自动合并文件的方法、系统、设备及介质
US20150350315A1 (en) Zero copy volume reconstruction
CN116483274A (zh) 一种分布式块存储卷在线迁移方法、装置、设备及介质
CN114328007B (zh) 一种容器备份还原方法、装置及其介质
CN115174596A (zh) 一种设备远程复制方法、装置以及介质
CN110968399B (zh) 一种虚拟机重装方法、装置和计算机可读存储介质
CN109324931B (zh) 在重复数据删除系统中实现vmware挂载恢复的方法
CN111078126A (zh) 分布式存储系统及其存储方法
CN210274138U (zh) 一种信息集成平台系统
EP3591531B1 (en) Instant restore and instant access of hyper-v vms and applications running inside vms using data domain boostfs
US20220004459A1 (en) Metadata based data replication
US10628075B1 (en) Data protection compliance between storage and backup policies of virtual machines
CN115344355A (zh) 一种跨集群迁移虚拟机的方法、装置、设备及存储介质
CN116149858A (zh) 一种云平台容器集群部署方法、装置、介质
CN112667358A (zh) 虚拟机快照的管理方法、电子设备、计算机可读介质
CN114860165A (zh) 数据迁移方法、系统、装置、存储介质以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination