CN113687911B - 一种元数据管理方法、系统、电子设备及存储介质 - Google Patents

一种元数据管理方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN113687911B
CN113687911B CN202110873157.5A CN202110873157A CN113687911B CN 113687911 B CN113687911 B CN 113687911B CN 202110873157 A CN202110873157 A CN 202110873157A CN 113687911 B CN113687911 B CN 113687911B
Authority
CN
China
Prior art keywords
metadata
target
backup
resource
naming space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110873157.5A
Other languages
English (en)
Other versions
CN113687911A (zh
Inventor
李龙峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Inspur Smart Computing Technology Co Ltd
Original Assignee
Guangdong Inspur Smart Computing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Inspur Smart Computing Technology Co Ltd filed Critical Guangdong Inspur Smart Computing Technology Co Ltd
Priority to CN202110873157.5A priority Critical patent/CN113687911B/zh
Publication of CN113687911A publication Critical patent/CN113687911A/zh
Application granted granted Critical
Publication of CN113687911B publication Critical patent/CN113687911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/4557Distribution of virtual machine instances; Migration and load balancing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45587Isolation or security of virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种元数据管理方法,应用于单架构服务器部署的Kubernetes集群,所述元数据管理方法包括:接收元数据管理指令,并根据所述元数据管理指令确定目标元数据所在的原命名空间和目的命名空间;判断所述原命名空间和所述目的命名空间是否为同一集群的相同命名空间;若是,则向备份还原装置发送资源还原命令;若否,则停止所述目标元数据对应的服务,并从所述对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间。本申请能够提高单架构服务器部署的Kubernetes集群的稳定性和安全性。本申请还公开了一种元数据管理系统、一种电子设备及一种存储介质,具有以上有益效果。

Description

一种元数据管理方法、系统、电子设备及存储介质
技术领域
本申请涉及集群管理技术领域,特别涉及一种元数据管理方法、系统、电子设备及存储介质。
背景技术
在容器技术时代,大量的业务应用场景通过Kubernetes容器编排技术上云,其中上云的业务场景对应的Kubernetes元数据以及用户数据是用户重要的数据资产。
基于单架构操作系统部署Kubernetes集群单数据中心,在原生情况下不能有效的满足以下业务场景:(1)用户误操作删除资源需要恢复的情形;(2)数据中心内迁移资源并保证迁移应用快速启用的情形。
因此,如何提高单架构服务器部署的Kubernetes集群的稳定性和安全性是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种元数据管理方法、系统、一种电子设备及一种存储介质,能够提高单架构服务器部署的Kubernetes集群的稳定性和安全性。
为解决上述技术问题,本申请提供一种元数据管理方法,应用于单架构服务器部署的Kubernetes集群,该元数据管理方法包括:
接收元数据管理指令,并根据所述元数据管理指令确定目标元数据所在的原命名空间和目的命名空间;
判断所述原命名空间和所述目的命名空间是否为同一集群的相同命名空间;
若是,则向备份还原装置发送资源还原命令,以便所述备份还原装置从对象存储装置中将所述目标元数据由所述原命名空间还原至所述目的命名空间;
若否,则停止所述目标元数据对应的服务,并从所述对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间。
可选的,停止所述目标元数据对应的服务,包括:
通过执行服务停止操作控制所述目标元数据对应的服务停止;
其中,所述服务停止操作第一操作、第二操作和第三操作中的任一项或任几项的组合;所述第一操作为将无状态负载和/或有状态负载的副本数修改为0,第二操作为将任务超时时间设置为0,第三操作为挂起定时任务。
可选的,在向所述备份还原装置发送资源迁移命令之后,还包括:
判断所述目标元数据是否迁移成功;
若是,则更新所述Kubernetes集群的资源业务关系,并删除所述原命名空间中的所述目标元数据;
若否,则恢复所述目标元数据对应的服务。
可选的,判断所述目标元数据是否迁移成功,包括:
判断在预设时间内所述目标元数据是否由所述原命名空间迁移至所述目的命名空间;
若是,则判定所述目标元数据迁移成功;
若否,则判定所述目标元数据迁移失败。
可选的,恢复所述目标元数据对应的服务,包括:
通过执行服务启用操作控制所述目标元数据对应的服务启动;
其中,所述服务启用操作第四操作、第五操作和第六操作中的任一项或任几项的组合;所述第四操作为将无状态负载和/或有状态负载的副本数恢复为初始副本数,第五操作为将任务超时时间设置为空值,第六操作为解除定时任务的挂起状态。
可选的,还包括:
向所述备份还原装置发送资源备份命令,以便所述备份还原装置向所述对象存储装置备份所述Kubernetes集群的元数据。
可选的,向所述备份还原装置发送资源备份命令包括:
按照预设周期向所述备份还原装置发送资源备份命令。
本申请还提供了一种元数据管理系统,应用于单架构服务器部署的Kubernetes集群,所述元数据管理系统包括:
管理装置,用于接收元数据管理指令,并根据所述元数据管理指令确定目标元数据所在的原命名空间和目的命名空间;还用于判断所述原命名空间和所述目的命名空间是否为同一集群的相同命名空间;若是,则向备份还原装置发送资源还原命令;若否,则停止所述目标元数据对应的服务,并从所述对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间;
所述备份还原装置,用于若接收到所述资源还原命令,则从对象存储装置中将所述目标元数据由所述原命名空间还原至所述目的命名空间;
所述对象存储装置,用于为所述备份还原装置提供元数据上传服务、元数据拉取服务和元数据查询服务。
本申请还提供了一种存储介质,其上存储有计算机程序,所述计算机程序执行时实现上述元数据管理方法执行的步骤。
本申请还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现上述元数据管理方法执行的步骤。
本申请提供了一种元数据管理方法,应用于单架构服务器部署的Kubernetes集群,所述元数据管理方法包括:接收元数据管理指令,并根据所述元数据管理指令确定目标元数据所在的原命名空间和目的命名空间;判断所述原命名空间和所述目的命名空间是否为同一集群的相同命名空间;若是,则向备份还原装置发送资源还原命令,以便所述备份还原装置从对象存储装置中将所述目标元数据由所述原命名空间还原至所述目的命名空间;若否,则停止所述目标元数据对应的服务,并从所述对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间。
本申请应用于单架构服务器部署的Kubernetes集群,在接收到元数据管理指令后,确定待移动的目标元数据所在的原命名空间和目的命名空间。若原命名空间和目的命名空间相同,则说明元数据管理指令为用于还原元数据的指令,因此通过向备份还原装置发送资源还原命令,以便所述备份还原装置从对象存储装置中将所述目标元数据由所述原命名空间还原至所述目的命名空间。若原命名空间和目的命名空间不同,则说明元数据管理指令为用于迁移元数据的指令。元数据的迁移需要停止相应的服务,在该场景下,本申请停止目标元数据对应的服务,并向从所述对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间。上述方案能够在单架构服务器部署的Kubernetes集群中实现元数据的还原与迁移,能够提高单架构服务器部署的Kubernetes集群的稳定性和安全性。本申请同时还提供了一种元数据管理系统、一种电子设备和一种存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种元数据管理方法的流程图;
图2为本申请实施例所提供的一种用于基于单架构操作系统部署Kubernetes集群单数据中心进行资源容灾操作的原理示意图;
图3为本申请实施例所提供的一种元数据备份流程示意图;
图4为本申请实施例所提供的一种元数据还原流程示意图;
图5为本申请实施例所提供的一种元数据迁移流程示意图;
图6为本申请实施例所提供的一种元数据管理系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面请参见图1,图1为本申请实施例所提供的一种元数据管理方法的流程图。
具体步骤可以包括:
S101:接收元数据管理指令,并根据所述元数据管理指令确定目标元数据所在的原命名空间和目的命名空间;
本实施例可以应用于单架构服务器部署的Kubernetes集群,上述单架构服务器可以为ARM服务器或X86服务器。本实施例可以在Kubernetes集群添加管理装置,由管理装置执行S101至S103的相关操作。Kubernetes又称K8s,是一个用于容器集群的自动化部署、扩容以及运维的开源平台。
上述元数据管理指令可以为用户下发的指令,也可以为其他设备发送的指令,还可以为定时生成的元数据管理指令。在接收到元数据管理指令后,可以解析元数据管理指令确定需要移动的目标元数据,原命名空间为目标元数据所在的命名空间,目的命名空间为目标元数据所要移动至的命名空间。
本实施例中提到的元数据可以为K8s元数据,具体可以包括Kubernetes集群资源和PV用户数据,如Deployment(无状态负载)、StatefulSet(有状态负载)、NetworkPolicy(网络策略)、ConfigMap(普通配置)等类型资源的统称。PV用户数据指用户在操作Kubernetes集群资源时产生的业务数据,这些数据最终会落到磁盘上。
S102:判断原命名空间和目的命名空间是否为同一集群的相同命名空间;若是,则进入S103;若否,则进入S104;
其中,目标元数据在命名空间之间移动的情况可以为资源还原和资源迁移,为了区分资源还原和资源迁移,本实施例对所述原命名空间和所述目的命名空间进行判断,若原命名空间和目的命名空间为同一集群的相同命名空间,则说明本次操作为资源还原;若原命名空间和目的命名空间不为同一集群的相同命名空间,则说明本次操作为资源迁移。命名空间是Kubernetes集群中用于隔离资源的一种方式,用于进行资源分组。同一集群的相同命名空间指同一集群内ID相同的命名空间。
资源还原指将备份存储池中的K8s元数据和PV(Persistent Volum,持久化卷)数据快照在目标命名空间创建出集群资源、PV用户数据的动作。资源迁移指在同一数据中心下,将k8s元数据还原到其他命名空间或者其他集群下的操作。
S103:向备份还原装置发送资源还原命令,以便所述备份还原装置从对象存储装置中将所述目标元数据由所述原命名空间还原至所述目的命名空间;
其中,在确定本次操作为资源还原操作后,可以向备份还原装置发送资源还原命令。备份还原装置接收到资源还原命令后,可以从对象存储装置中将目标元数据由所述原命名空间还原至目的命名空间。
对象存储装置又称备份存储池,用于存储K8s元数据的对象存储。
S104:停止所述目标元数据对应的服务,并从所述对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间。
其中,由于资源迁移设计应用服务的启停和监听操作,在确定本次操作为资源迁移操作后,可以停止所述目标元数据对应的服务,并从对象存储装置中将目标元数据由所述原命名空间迁移至目的命名空间。
作为一种可行的实施方式,本实施例可以通过执行服务停止操作控制所述目标元数据对应的服务停止;其中,所述服务停止操作第一操作、第二操作和第三操作中的任一项或任几项的组合;所述第一操作为将无状态负载和/或有状态负载的副本数修改为0,第二操作为将任务超时时间设置为0,第三操作为挂起定时任务。
本实施例应用于单架构服务器部署的Kubernetes集群,在接收到元数据管理指令后,确定待移动的目标元数据所在的原命名空间和目的命名空间。若原命名空间和目的命名空间相同,则说明元数据管理指令为用于还原元数据的指令,因此通过向备份还原装置发送资源还原命令,以便所述备份还原装置从对象存储装置中将所述目标元数据由所述原命名空间还原至所述目的命名空间。若原命名空间和目的命名空间不同,则说明元数据管理指令为用于迁移元数据的指令。元数据的迁移需要停止相应的服务,在该场景下,本实施例停止目标元数据对应的服务,并向从所述对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间。上述方案能够在单架构服务器部署的Kubernetes集群中实现元数据的还原与迁移,能够提高单架构服务器部署的Kubernetes集群的稳定性和安全性。
作为一种可行的实施方式,在向所述备份还原装置发送资源迁移命令之后,还可以判断所述目标元数据是否迁移成功;若迁移成功,则更新所述Kubernetes集群的资源业务关系,并删除所述原命名空间中的所述目标元数据;若迁移失败,则恢复所述目标元数据对应的服务。
具体的,本实施例可以通过以下方式判断目标元数据是否迁移成功:判断在预设时间内所述目标元数据是否由所述原命名空间迁移至所述目的命名空间;若是,则判定所述目标元数据迁移成功;若否,则判定所述目标元数据迁移失败。
相应的,若迁移失败,则可以通过执行服务启用操作控制所述目标元数据对应的服务启动;其中,所述服务启用操作第四操作、第五操作和第六操作中的任一项或任几项的组合;所述第四操作为将无状态负载和/或有状态负载的副本数恢复为初始副本数,第五操作为将任务超时时间设置为空值,第六操作为解除定时任务的挂起状态。
作为一种可行的实施方式,本实施例还可以存在备份元数据的操作,具体过程如下:向所述备份还原装置发送资源备份命令,以便所述备份还原装置向所述对象存储装置备份所述Kubernetes集群的元数据。进一步的,本实施例可以按照预设周期向所述备份还原装置发送资源备份命令。资源备份指将Kubernetes集群的K8s元数据上传到备份存储池的动作,或者将PV数据以快照的方式进行存储的动作。
下面通过在实际应用中的实施例说明上述实施例描述的流程。
本实施例应用于基于单架构操作系统部署Kubernetes集群单数据中心进行资源容灾的操作,通过本方案进行基于单架构操作系统部署Kubernetes集群资源容灾的操作,能够提高单架构操作系统部署Kubernetes集群单数据中心资源的高可用、高稳定、资源高安全的特性。
在容器技术时代,大量的业务应用场景,通过Kubernetes容器编排技术上云,其中上云的业务场景对应的K8s元数据以及PV用户数据是用户重要的数据资产,当用户进行不可预知的操作,如误删除业务组件时,如何保证业务组件快速恢复,以保证业务场景的可续性;或者,用户在数据中心内进行资源迁移,如何保证迁移资源快速恢复并启用,以保障业务场景的快速切换。因此基于单架构操作系统部署Kubernetes集群单数据中心资源的高可用、高稳定、资源高安全就是一个需要面临解决的问题。本方案基于单架构操作系统部署Kubernetes集群单数据中心进行资源容灾操作的方案,通过本方案可以将K8s元数据备份到备份存储池中,利用存储快照技术将PV用户数据在存储中备份;在目标命名空间将Kubernetes资源进行还原,保障Kubernetes集群资源可恢复性,数据中心内迁移情况下,保障迁移资源快速恢复并启用。本方案可以保证基于单架构操作系统部署Kubernetes集群单数据中心下资源容灾操作的进行,提高了单架构操作系统部署Kubernetes集群单数据中心下资源的高可用、高稳定、资源高安全的特性。
本方案的基本思想是建立一个基于单架构操作系统部署Kubernetes集群单数据中心下的管理装置,用于选择需要备份的应用资源,需要还原的k8s元数据,如果迁移资源,还需要对应用资源进行启停、监听操作;建立一个对象存储装置,用于存放k8s元数据;建立一个备份还原装置用于接收、执行备份、还原的资源请求,将k8s元数据上传到对象存储装置,或者,从对象存储装置中获取K8s元数据,执行生成集群资源。
请参见图2,图2为本申请实施例所提供的一种用于基于单架构操作系统部署Kubernetes集群单数据中心进行资源容灾操作的原理示意图。
(1)用户通过部署对象存储装置,暴露出对象存储服务,以供备份还原装置上传、拉取、查询使用。
具体的,本实施例使用的对象存储需兼容S3对象存储协议,用来支持k8s元数据的上传到存储装置,或者从存储装置中拉取下来。
(2)备份还原装置用于将k8s元数据上传到对象存储装置中,或者从存储装置拉取k8s元数据,生成集群资源。通过备份还原装置执行资源数据备份还原流程图如图3所示,图3为本申请实施例所提供的一种元数据备份流程示意图,其过程如下:管理装置选择资源进行备份;检测是否定时备份;若是,则发送定时备份命令,以便执行资源备份操作;若否,则发送备份命令,以便执行资源备份操作。
备份还原装置备份k8s元数据时,可以将整个命名空间,或者命名空间下的单一或多种资源,如有状态负载、无状态负载、普通配置、加密配置、服务等资源进行备份,并把K8s元数据上传到对象存储装置。备份还原装置从对像存储装置中拉取K8s元数据,执行并创建出集群资源。备份还原装置可以通过velero CSI插件,对PV用户数据通过快照的方式进行备份还原。
(3)管理装置用于选择需要备份、还原、迁移的应用资源,备份资源数据可以通过定时、手工两种方式,传递命令给备份还原装置执行资源备份;管理装置通过判断资源需要还原还是迁移执行不同操作,还原资源仅通过备份还原装置进行资源还原;迁移资源还需要涉及应用服务的启停、监听操作,过程中通过备份还原装置进行资源还原。通过管理装置执行资源数据还原操作流程图如附图4所示,图4为本申请实施例所提供的一种元数据还原流程示意图,其过程如下:管理装置选择需要还原的资源,从备份存储池中获取K8s元数据,执行还原命令生成资源及PV用户数据。通过管理装置执行资源数据还原操作流程图如附图5所示,图5为本申请实施例所提供的一种元数据迁移流程示意图,其过程如下:选择资源进行迁移,判断原命名空间和目的命名空间是否为同集群同命名空间;若是同集群同命名空间,则执行资源还原流程。监听资源还原结果后,判断是否还原成功。若还原失败,则判断是否超时,若超时则输出资源还原超时的提示信息,若不超时则继续监听资源还原结果。若不为同集群同命名空间,则停用应用资源,并执行资源迁移流程,资源迁移后维护迁移资源业务关系并删除原应用资源。应用资源是在业务层抽象出的对有状态负载、无状态负载、任务、定时任务的管理资源。
上述过程中,选择需要还原或迁移的k8s元数据,通过判断是否为同集群同命名空间,来判断是进行资源还原,还是迁移。如果是资源还原,给备份还原装置发送资源还原命令后,流程结束。如果是资源迁移,根据如下规则停止相应服务:i.有、无状态负载通过将副本数改为0,达到停止服务的目的;ii.任务通过将超时时间设置为0,达到停止服务的目的;iii.定时任务通过挂起,达到停止服务的目的。停止服务后,执行还原命令,并启用线程来查询还原结果进度,以监听迁移情况。如果迁移失败,则重新启用原服务,启用原服务规则如下:i.有、无状态负载通过将副本数改为之前副本数,达到启用服务的目的;ii.任务通过将超时时间设置为空值,达到启用服务的目的;iii.定时任务通过关闭挂起,达到启用服务的目的。如果迁移成功,则重新维护资源业务关系,并将原有应用资源删除。
用户执行管理装置、备份还原装置、对象存储装置操作原理示意图如附图6所示,图6为本申请实施例所提供的一种元数据管理系统的结构示意图。管理装置可以进行资源的备份、还原和迁移,资源迁移过程包括应用资源停用和应用资源启用。管理装置可以向备份还原装置发送备份资源命令和还原资源命令。备份还原装置可以通过velero CSI插件查询数据资源、拉取K8s元数据、生成资源、以及上传K8s元数据。图6中ns表示命名空间,备份还原装置可以从命名空间nsA中容器的存储卷查询资源A,备份还原装置可以在命名空间nsA和nsB中容器的存储卷对资源A进行还原或迁移,备份还原装置还可以生成资源,并向命名空间nsA中容器的存储卷迁移资源A。存储卷与后端存储关联,对象存储装置用于存储K8s元数据。
上述实施例提供了管理装置、备份还原装置、对象存储装置。管理装置用于选择哪些应用资源需要备份,选择哪些备份的k8s元数据需要还原,以及在数据中心进行迁移操作时,对应用资源的启停、监听操作。对象存储装置是基于对象存储部署的服务,使用的对象存储需兼容S3协议,该装置用于存放K8s元数据。备份还原装置用于接收管理装置发出的资源备份、还原命令,接收到资源备份命令,通过该装置上传k8s元数据到对象存储装置,有PV用户数据,则在对应存储创建快照进行备份;接收到资源还原命令,通过该装置从对象存储装置中获取K8s元数据,执行资源还原命令生成集群资源,有PV用户数据,从存储还原快照生成。
本方案通过选择应用资源进行备份操作,在发生不可预知的人为操作造成资源丢失的情况下,把备份的k8s元数据从备份存储池中拉取,进行还原;或者,在数据中心内进行资源迁移,保证迁移资源快速恢复并启用,以保障业务场景的快速切换,从而提高基于单架构操作系统部署Kubernetes集群单数据中心资源的高可用、高稳定、资源高安全的特性。
具体的,在基于单架构操作系统部署Kubernetes集群单数据中心下需要进行资源容灾操作时,进入管理装置,通过管理装置选择资源备份还原操作,如果需要将资源直接备份还原,则选择备份还原装置执行还原操作;如果选择资源进行迁移,则在管理装置中对应用资源进行启停、监听还原、删除操作,过程中需要对资源进行还原操作,则选择备份还原装置执行还原操作。备份还原装置执行还原操作的过程包括:从管理装置接收到需要备份的k8s元数据,执行资源备份命令,并将k8s元数据上传到对象存储装置;从管理装置接收到需要还原的k8s元数据,执行资源还原命令,并生成集群资源。
本申请实施例所提供的一种元数据管理系统,上述元数据管理系统应用于单架构服务器部署的Kubernetes集群,具体包括:
管理装置,用于接收元数据管理指令,并根据所述元数据管理指令确定目标元数据所在的原命名空间和目的命名空间;还用于判断所述原命名空间和所述目的命名空间是否为同一集群的相同命名空间;若是,则向备份还原装置发送资源还原命令;若否,则停止所述目标元数据对应的服务,并从所述对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间;
所述备份还原装置,用于若接收到所述资源还原命令,则从对象存储装置中将所述目标元数据由所述原命名空间还原至所述目的命名空间;
所述对象存储装置,用于为所述备份还原装置提供元数据上传服务、元数据拉取服务和元数据查询服务。
本实施例应用于单架构服务器部署的Kubernetes集群,在接收到元数据管理指令后,确定待移动的目标元数据所在的原命名空间和目的命名空间。若原命名空间和目的命名空间相同,则说明元数据管理指令为用于还原元数据的指令,因此通过向备份还原装置发送资源还原命令,以便所述备份还原装置从对象存储装置中将所述目标元数据由所述原命名空间还原至所述目的命名空间。若原命名空间和目的命名空间不同,则说明元数据管理指令为用于迁移元数据的指令。元数据的迁移需要停止相应的服务,在该场景下,本实施例停止目标元数据对应的服务,并向从所述对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间。上述方案能够在单架构服务器部署的Kubernetes集群中实现元数据的还原与迁移,能够提高单架构服务器部署的Kubernetes集群的稳定性和安全性。
进一步的,管理装置停止所述目标元数据对应的服务的过程包括:通过执行服务停止操作控制所述目标元数据对应的服务停止;其中,所述服务停止操作第一操作、第二操作和第三操作中的任一项或任几项的组合;所述第一操作为将无状态负载和/或有状态负载的副本数修改为0,第二操作为将任务超时时间设置为0,第三操作为挂起定时任务。
进一步的,管理装置还用于在向所述备份还原装置发送资源迁移命令之后,判断所述目标元数据是否迁移成功;若是,则更新所述Kubernetes集群的资源业务关系,并删除所述原命名空间中的所述目标元数据;若否,则恢复所述目标元数据对应的服务。
进一步的,管理装置判断所述目标元数据是否迁移成功的过程包括:判断在预设时间内所述目标元数据是否由所述原命名空间迁移至所述目的命名空间;若是,则判定所述目标元数据迁移成功;若否,则判定所述目标元数据迁移失败。
进一步的,管理装置恢复所述目标元数据对应的服务的过程包括:通过执行服务启用操作控制所述目标元数据对应的服务启动;其中,所述服务启用操作第四操作、第五操作和第六操作中的任一项或任几项的组合;所述第四操作为将无状态负载和/或有状态负载的副本数恢复为初始副本数,第五操作为将任务超时时间设置为空值,第六操作为解除定时任务的挂起状态。
进一步的,管理装置还用于向所述备份还原装置发送资源备份命令,以便所述备份还原装置向所述对象存储装置备份所述Kubernetes集群的元数据。
进一步的,管理装置向所述备份还原装置发送资源备份命令的过程包括:按照预设周期向所述备份还原装置发送资源备份命令。
由于系统部分的实施例与方法部分的实施例相互对应,因此系统部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本申请还提供了一种存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备,可以包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口,电源等组件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种元数据管理方法,其特征在于,应用于单架构服务器部署的Kubernetes集群,所述元数据管理方法包括:
接收元数据管理指令,并根据所述元数据管理指令确定目标元数据所在的原命名空间和目的命名空间;
判断所述原命名空间和所述目的命名空间是否为同一集群的相同命名空间;
若是,则向备份还原装置发送资源还原命令,以便所述备份还原装置从对象存储装置中将所述目标元数据由所述原命名空间还原至所述目的命名空间;所述备份还原装置通过velero CSI插件查询数据资源、拉取K8s元数据、生成资源、以及上传K8s元数据;
若否,则停止所述目标元数据对应的服务,并从所述对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间;
通过执行服务停止操作控制所述目标元数据对应的服务停止;
其中,所述服务停止操作第一操作、第二操作和第三操作中的任一项或任几项的组合;所述第一操作为将无状态负载和/或有状态负载的副本数修改为0,第二操作为将任务超时时间设置为0,第三操作为挂起定时任务;
还包括:
向所述备份还原装置发送资源备份命令,以便所述备份还原装置向所述对象存储装置备份所述Kubernetes集群的元数据。
2.根据权利要求1所述元数据管理方法,其特征在于,在向所述备份还原装置发送资源迁移命令之后,还包括:
判断所述目标元数据是否迁移成功;
若是,则更新所述Kubernetes集群的资源业务关系,并删除所述原命名空间中的所述目标元数据;
若否,则恢复所述目标元数据对应的服务。
3.根据权利要求2所述元数据管理方法,其特征在于,判断所述目标元数据是否迁移成功,包括:
判断在预设时间内所述目标元数据是否由所述原命名空间迁移至所述目的命名空间;
若是,则判定所述目标元数据迁移成功;
若否,则判定所述目标元数据迁移失败。
4.根据权利要求2所述元数据管理方法,其特征在于,恢复所述目标元数据对应的服务,包括:
通过执行服务启用操作控制所述目标元数据对应的服务启动;
其中,所述服务启用操作第四操作、第五操作和第六操作中的任一项或任几项的组合;所述第四操作为将无状态负载和/或有状态负载的副本数恢复为初始副本数,第五操作为将任务超时时间设置为空值,第六操作为解除定时任务的挂起状态。
5.根据权利要求1所述元数据管理方法,其特征在于,向所述备份还原装置发送资源备份命令包括:
按照预设周期向所述备份还原装置发送资源备份命令。
6.一种元数据管理系统,其特征在于,应用于单架构服务器部署的Kubernetes集群,所述元数据管理系统包括:
管理装置,用于接收元数据管理指令,并根据所述元数据管理指令确定目标元数据所在的原命名空间和目的命名空间;还用于判断所述原命名空间和所述目的命名空间是否为同一集群的相同命名空间;若是,则向备份还原装置发送资源还原命令;若否,则停止所述目标元数据对应的服务,并从对象存储装置中将所述目标元数据由所述原命名空间迁移至所述目的命名空间;
所述备份还原装置,用于若接收到所述资源还原命令,则从对象存储装置中将所述目标元数据由所述原命名空间还原至所述目的命名空间;
所述对象存储装置,用于为所述备份还原装置提供元数据上传服务、元数据拉取服务和元数据查询服务;
所述管理装置停止所述目标元数据对应的服务的过程包括:通过执行服务停止操作控制所述目标元数据对应的服务停止;其中,所述服务停止操作第一操作、第二操作和第三操作中的任一项或任几项的组合;所述第一操作为将无状态负载和/或有状态负载的副本数修改为0,第二操作为将任务超时时间设置为0,第三操作为挂起定时任务;
所述管理装置还用于向所述备份还原装置发送资源备份命令,以便所述备份还原装置向所述对象存储装置备份所述Kubernetes集群的元数据;
所述备份还原装置通过velero CSI插件查询数据资源、拉取K8s元数据、生成资源、以及上传K8s元数据。
7.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1至5任一项所述元数据管理方法的步骤。
8.一种存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如权利要求1至5任一项所述元数据管理方法的步骤。
CN202110873157.5A 2021-07-30 2021-07-30 一种元数据管理方法、系统、电子设备及存储介质 Active CN113687911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110873157.5A CN113687911B (zh) 2021-07-30 2021-07-30 一种元数据管理方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110873157.5A CN113687911B (zh) 2021-07-30 2021-07-30 一种元数据管理方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113687911A CN113687911A (zh) 2021-11-23
CN113687911B true CN113687911B (zh) 2025-05-06

Family

ID=78578419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110873157.5A Active CN113687911B (zh) 2021-07-30 2021-07-30 一种元数据管理方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113687911B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466027B (zh) * 2022-01-26 2023-08-04 苏州浪潮智能科技有限公司 一种云原生数据库服务提供方法、系统、设备及介质
CN114328029B (zh) * 2022-03-02 2022-06-03 苏州浪潮智能科技有限公司 一种应用资源的备份方法、装置、电子设备及存储介质
CN114625535A (zh) * 2022-03-08 2022-06-14 新浪网技术(中国)有限公司 多Kubernetes集群的业务部署方法及装置
CN114356848B (zh) * 2022-03-11 2022-06-07 中国信息通信研究院 元数据管理方法、计算机存储介质及电子设备
CN115174364B (zh) * 2022-06-30 2024-07-02 济南浪潮数据技术有限公司 一种容灾场景下的数据还原方法、装置以及介质
CN115061783B (zh) * 2022-07-22 2025-02-18 广东浪潮智慧计算技术有限公司 Kubernetes容器集群的服务配置方法及装置
CN116028280B (zh) * 2022-12-29 2025-10-31 济南浪潮数据技术有限公司 一种跨集群数据迁移方法、装置、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333008A (zh) * 2020-10-22 2021-02-05 济南浪潮数据技术有限公司 一种云主机整机备份还原方法、装置、设备及存储介质
CN112765132A (zh) * 2021-01-22 2021-05-07 苏州浪潮智能科技有限公司 一种大规模集群的数据迁移方法、装置和介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10721181B1 (en) * 2015-03-10 2020-07-21 Amazon Technologies, Inc. Network locality-based throttling for automated resource migration
CN110019138B (zh) * 2017-12-29 2022-06-03 中国移动通信集团公司 一种基于Zabbix的传输表空间自动迁移方法和系统
TWI678618B (zh) * 2018-06-22 2019-12-01 慧榮科技股份有限公司 快閃記憶裝置的命名空間操作方法及裝置
CN111078120B (zh) * 2018-10-18 2023-11-03 深信服科技股份有限公司 一种分布式文件系统的数据迁移方法、系统及相关组件
CN111045870B (zh) * 2019-12-27 2022-06-10 北京浪潮数据技术有限公司 一种保存与恢复元数据的方法、装置和介质
CN112463437B (zh) * 2020-11-05 2022-07-22 苏州浪潮智能科技有限公司 存储集群系统离线节点的业务恢复方法、系统及相关组件

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333008A (zh) * 2020-10-22 2021-02-05 济南浪潮数据技术有限公司 一种云主机整机备份还原方法、装置、设备及存储介质
CN112765132A (zh) * 2021-01-22 2021-05-07 苏州浪潮智能科技有限公司 一种大规模集群的数据迁移方法、装置和介质

Also Published As

Publication number Publication date
CN113687911A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN113687911B (zh) 一种元数据管理方法、系统、电子设备及存储介质
CN109120678B (zh) 用于分布式存储系统的服务托管的方法和装置
US11836152B2 (en) Continuous replication and granular application level replication
JP3592721B2 (ja) バックアップソフトウェア用の再表示エージェント
US7904425B2 (en) Generating backup sets to a specific point in time
US7594138B2 (en) System and method of error recovery for backup applications
CN112099918A (zh) 容器化环境中的集群的实时迁移
US20160162209A1 (en) Data storage controller
CN106339278A (zh) 一种网络文件系统的数据备份及恢复方法
CN103885854A (zh) 一种数据备份方法、装置及系统
US10581966B2 (en) Cloud services integrated backup and restore
JP5665889B2 (ja) サブバージョンリポジトリをバックアップする方法及び装置
US12111737B2 (en) System and method to build dependency chain for snapshot-based backups
CN109753381B (zh) 一种基于对象存储的持续数据保护方法
CN113467993A (zh) 一种云平台资源的还原方法、系统、设备及存储介质
JP2009245264A (ja) バックアップ管理システム、方法、及び、プログラム
US11836046B1 (en) Tagging writers for incremental backups of system objects
US12210420B2 (en) System and method to enable a snapshot-based backup
CN119248565A (zh) 容器应用数据的容灾备份方法及装置、介质、设备
KR101748912B1 (ko) 분산 저장 환경에서 데이터 저장 시스템 및 데이터 저장 시스템이 포함하는 클러스터의 업그레이드, 확장 및 축소를 위한 클러스터 관리 방법
JP5433069B1 (ja) バックアップ装置、バックアッププログラム及びバックアップシステム
CN113297158B (zh) 一种云安全产品管理方法、装置、设备及存储介质
US12210424B2 (en) System and method to perform a restoration using snapshot-based backups
US20240354206A1 (en) Lossless failover for data recovery
US12086033B2 (en) System and method to enable a hybrid backup solution using snapshot-based backups and stream-based backups

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant