CN117667515A - 主备集群的备份管理方法、装置、计算机设备及存储介质 - Google Patents
主备集群的备份管理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117667515A CN117667515A CN202311682589.3A CN202311682589A CN117667515A CN 117667515 A CN117667515 A CN 117667515A CN 202311682589 A CN202311682589 A CN 202311682589A CN 117667515 A CN117667515 A CN 117667515A
- Authority
- CN
- China
- Prior art keywords
- backup
- node
- cluster
- main
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000011084 recovery Methods 0.000 claims description 36
- 239000003054 catalyst Substances 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 22
- MKGIQRNAGSSHRV-UHFFFAOYSA-N 1,1-dimethyl-4-phenylpiperazin-1-ium Chemical compound C1C[N+](C)(C)CCN1C1=CC=CC=C1 MKGIQRNAGSSHRV-UHFFFAOYSA-N 0.000 abstract description 5
- 238000012795 verification Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010367 cloning Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种主备集群的备份管理方法、装置、计算机设备及存储介质。所述方法包括:数据库节点响应于获取到备份作业,发送备份准备信息至集群管理器;备份准备信息用于指示集群管理器下发集群资源锁信息至每一个数据库节点;在当前作为备份入口节点的主节点获取到集群资源锁的情况下,执行备份作业中的备份命令;备份命令用于指示主节点将主节点数据作为备份集存储至存储服务器。采用本方法能够可以实现对DMPP主备集群的备份管理。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种主备集群的备份管理方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展,出现了大数据技术,其中,通常使用数据库来进行数据存储。在信息数字时代背景的很多场景下,单数据服务器无法满足大量用户的需求,集群能更好的分担单数据服务器的压力和提升用户的存取性能,提升用户的体验感。
由于集群的多样性,某些特性类型的集群虽然能提升整体存取性能,但是整个集群的容错性却无法满足需求。基于以上种种复杂情况的考虑,并综合各类集群的优点,组合集群便孕育而生,DMMPP(DM Massively Parallel Processing,达梦大规模数据处理集群软件)主备集群便是其中一类组合型集群。
另外,为了防止硬软件的故障导致重要数据的丢失,需要对这些数据做一次额外的备份。在数据丢失等的情况下,使用备份集和相应归档日志就可以提供对数据库中重要数据的恢复、复制或迁移等工作,进一步确保数据库中数据的安全性。
传统技术中的主备集群的备份方法,无法满足DMMPP主备集群的备份和恢复。
发明内容
基于此,有必要针对上述技术问题,提供一种能够满足DMMPP主备集群的主备集群的备份管理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种主备集群的备份管理方法,应用于主备集群,主备集群包括至少两个主备子集群;主备子集群包括至少两个用于进行主备节点切换的数据库节点;
所述方法包括:
数据库节点响应于获取到备份作业,发送备份准备信息至集群管理器;备份准备信息用于指示集群管理器下发集群资源锁信息至每一个数据库节点;
在当前作为备份入口节点的主节点获取到集群资源锁的情况下,执行备份作业中的备份命令;备份命令用于指示主节点将主节点数据作为备份集存储至存储服务器。
在其中一个实施例中,备份集包括元数据信息,元数据信息用于记录备份集所属的主备子集群,备份集所属的数据库节点,以及主备子集群的当前主备节点信息。
在其中一个实施例中,方法还包括:
回读备份集,当元数据信息记录的主备子集群的当前主备节点信息与实际一致,汇总本次备份执行的节点数据库大小,作为本次备份存储的总数据量写入Catalog服务器。
在其中一个实施例中,获取到备份作业,包括:
数据库节点接收backupd发送的备份作业;其中,备份作业由backupd根据用户输入的备份任务确定。
在其中一个实施例中,还包括:
数据库节点响应于获取到备份恢复作业,向Catalog服务器查找所属的子集群内的目标备份集和每一个数据库节点的目标归档日志,并获取Catalog服务器反馈的目标备份集的备份集地址以及目标归档日志的日志地址;
数据库节点基于日志地址,在存储服务器中下载目标归档日志;
数据库节点基于备份集地址和目标归档日志,恢复备份集对应的数据。
在其中一个实施例中,备份恢复作业由backupd根据用户输入的备份恢复任务确定;
方法还包括:
数据库节点向backupd汇报备份恢复作业对应的恢复信息。
第二方面,本申请还提供了一种主备集群的备份管理装置,应用于主备集群,主备集群包括至少两个主备子集群;每一个主备子集群包括至少两个可在主节点和备节点之间切换的数据库节点;
所述装置包括:
备份准备模块,用于数据库节点响应于获取到备份作业,发送备份准备信息至集群管理器;备份准备信息用于指示集群管理器下发集群资源锁信息至每一个数据库节点;
备份命令执行模块,用于在当前作为备份入口节点的主节点获取到集群资源锁的情况下,执行备份作业中的备份命令;备份命令用于指示主节点将主节点数据作为备份集存储至存储服务器。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
上述主备集群的备份管理方法、装置、计算机设备及存储介质,数据库节点响应于获取到备份作业,发送备份准备信息至集群管理器;备份准备信息用于指示集群管理器下发集群资源锁信息至每一个数据库节点;在当前作为备份入口节点的主节点获取到集群资源锁的情况下,执行备份作业中的备份命令;备份命令用于指示主节点将主节点数据作为备份集存储至存储服务器,可以实现对DMPP主备集群的备份。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中主备集群的备份管理方法的应用环境图;
图2为一个实施例中主备集群的备份管理方法的流程示意图;
图3为另一个实施例中主备集群的备份管理方法的流程示意图;
图4为一个实施例中主备集群的备份管理装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的主备集群的备份管理方法,可以应用于如图1所示的应用环境中。其中,UI(User Interface,用户界面)102通过网络与backupd(Backup Daemon,备份守护程序)102进行通信,backupd102通过网络与主备集群103进行通信,主备集群103通过网络分别与集群管理器104、catalog服务器105和存储服务器106通信。主备集群103包括agent_primary_ep1、agent_standby_ep1、agent_primary_ep2和agent_standby_ep2共四个数据库节点,其中agent_primary_ep1和agent_standby_ep1为一组主备子集群,agent_primary_ep2和agent_standby_ep2为另一组主备子集群;两组主备子集群整体构成DMMPP主备集群(达梦MPP主备集群)。进一步地,agent_primary_ep1和agent_standby_ep1可以在主备节点之间切换,agent_primary_ep2和agent_standby_ep2同样可以在主备节点之间切换。
其中,达梦MPP主备集群属于组合型集群:DMMPP集群由多个节点协同工作才能完成整个DMMPP集群任务,任意单节点故障都会造成整个集群无法工作。为了提升DMMPP集群的整体容错性,将DMMPP中的每个节点由主备子集群构成,这样单节点故障并不影响整个DMMPP主备集群的业务。
在一个示例性的实施例中,如图2所示,提供了一种主备集群的备份管理方法,以该方法应用于图1中的主备集群103为例进行说明,其中,主备集群包括至少两个主备子集群;主备子集群包括至少两个用于进行主备节点切换的数据库节点。
本申请实施例提供的一种主备集群的备份管理方法,包括以下步骤202至步骤204。其中:
步骤202,数据库节点响应于获取到备份作业,发送备份准备信息至集群管理器;备份准备信息用于指示集群管理器下发集群资源锁信息至每一个数据库节点。
具体而言,主备集群中的所有数据库节点均会接收到备份作业,并发送备份准备信息至集群管理器。
其中,备份准备信息可以是在进行数据备份操作前需要做好的准备工作和要素,以确保备份的顺利执行和备份数据的可靠性。示例性地,在接收到备份作业的情况下,数据库节点可以先执行备份前SBT库安装,并将SBT库的安装情况作为备份准备信息发送至集群管理器。可选地,备份准备信息还可以包括:确认备份对象、确认备份周期和频率、确认备份介质、检查备份目录和文件、确认备份日志和报告等信息。
集群管理器(Cluster Manager)可以是一种用于管理和监控计算机集群的软件工具或系统,主要负责协调、分配和监视集群中各个节点(节点可以是物理服务器或虚拟机)的资源和任务。示例性地,集群管理器的功能可以包括:资源调度与分配、故障检测与恢复、任务管理与调度、配置管理与部署等。可选地,集群管理器可以用于下发集群状态至每一个数据库节点,还可以用于下发集群资源锁情况等信息。其中,集群资源锁可以为集群资源互斥锁,用于解决多节点同时访问某个共享资源时出现的冲突问题。
具体而言,当集群有连续多个备份作业时,多个备份作业对应的数据库节点会抢占集群资源互斥锁。并且在获取到集群的资源锁后,如果由于作业排队等待时间过长,集群结构发生改变(比如子集群内主备发生切换),整个集群会备份失败,需要重试备份作业。
步骤204,在当前作为备份入口节点的主节点获取到集群资源锁的情况下,执行备份作业中的备份命令;备份命令用于指示主节点将主节点数据作为备份集存储至存储服务器。
其中,存储服务器主要用于存储整个集群数据库的备份集和归档日志等数据。具体而言,DMMPP主备集群每次只备份所有主备子集群中主节点的数据。因此,当前作为备份入口节点的主节点获取到集群资源锁的情况下,主节点执行备份作业中的备份命令;备份命令用于指示主节点将主节点数据作为备份集存储至存储服务器。
可选地,存储服务器在接收到主节点发送的备份集的情况下,向主节点返回存储结果,以确保备份成功。
上述主备集群的备份管理方法中,数据库节点响应于获取到备份作业,发送备份准备信息至集群管理器;备份准备信息用于指示集群管理器下发集群资源锁信息至每一个数据库节点;在当前作为备份入口节点的主节点获取到集群资源锁的情况下,执行备份作业中的备份命令;备份命令用于指示主节点将主节点数据作为备份集存储至存储服务器,可以实现对DMPP主备集群的备份。
在其中一个实施例中,备份集包括元数据信息,元数据信息用于记录备份集所属的主备子集群,以及记录备份集所属的数据库节点。
其中,备份集的元数据信息可以为备份操作过程中生成的关于备份集的描述性信息和属性。一般而言,元数据信息记录了备份集的相关信息,可以用于备份管理和还原恢复操作。示例性地,备份集的元数据信息可以被记录在备份管理系统或备份软件的数据库中,并与备份集本身关联。
具体而言,每一个备份集的元数据信息可以记录该备份集所属的主备子集群,以及记录备份集所属的数据库节点,用于后续的备份恢复、校验及汇总。
示例性地,Catalog服务器用于存储和查询整个系统的备份作业,包括集群的备份记录、日志的备份记录、哪几个节点组成子集群以及每个子集群的OGUID(Object GUID,对象全局唯一标识符)值等一些系统元数据信息。其中,OGUID值通常用于分布式系统中的对象唯一标识和跟踪。集群每做一次备份都会产生一条集群的备份记录,恢复时用于查找可用的备份集、增量备份时用于查找系统已存在的基础备份,或归档日志下载时查找所需要的归档日志。
本申请实施例提供的一种主备集群的备份管理方法,使用OGUID值记录备份集归属于哪一个主备子集群,以及通过元数据记录备份集属于哪一个数据库节点,便于实现备份集的信息识别,以及后续的备份恢复、校验及汇总。
在其中一个实施例中,本申请实施例提供的一种主备集群的备份管理方法还可以包括:
回读备份集,当元数据信息记录的主备子集群的当前主备节点信息与实际一致,汇总本次备份执行的节点数据库大小,作为本次备份存储的总数据量写入Catalog服务器。
具体地,由于DMMPP主备集群每次只备份所有主备子集群中主节点的数据,而主备子集群中的主备节点之间会发生切换。因此,如果备份入口选择在主备子集群的备节点,或者因为子集群的主备切换主节点切换为备节点,则只会备份该子集群的数据,而不会备份整个组合集群的数据。
因此,在进行备份前,可以首先在MPP主备集群中获取主备集群的当前结构,即主备子集群的当前主备节点信息。并且,主备集群的当前结构信息作为元数据信息的一部分,记录至Catalog服务器。备份完成后,备份集存储在存储服务器,主节点可以从存储服务器回读备份集进行回读校验,确认存储的元数据和实际存储服务器的多备份集的信息是否一致(如果不一致会恢复会存在问题,主要是防止集群结构中途改变)。
备份是整个集群的多个节点共同执行备份来完成,具体选择哪些节点来执行是根据执行作业时的集群架构来定的。在校验结果一致的情况下,将本次备份执行的节点数据库大小进行汇总,作为这次备份存储的总数据量。进一步地,主节点将经校验汇总后的备份集写入存储服务器,以及将相关元数据信息写入Catalog服务器。
可选地,Catalog服务器在接收汇总后的备份集的情况下,向主节点汇报备份记录写入情况,以确保备份成功。
可选地,作为备份入口的主节点汇报备份完成情况至集群管理器,以使集群管理器在存在多个备份作业的情况下,重新调配集群资源锁,开启下一个备份作业。进一步地,主节点还用于执行备份完成后的收尾工作。其中,备份后收尾工作可以指在完成备份操作后进行的额外任务和步骤,以确保备份数据的完整性、可用性和安全性。示例性地,收尾工作可以包括:目录和日志清理、更新备份记录和文档、测试备份数据的可还原性、备份数据的存储和保护、备份监控和报告等任务和步骤。
本申请实施例提供的一种主备集群的备份管理方法,能够在主备子集群内部的主备节点发生切换的情况下,对当前备份集与历史备份集进行校验和汇总,以确保备份集的一致性和完整性。进一步地,通过在备份完成后向集群管理器汇报备份完成情况,实现对DMPP主备集群的定时备份任务,包括多个任务的自动排队、自动执行等。
在其中一个实施例中,本申请实施例提供的一种主备集群的备份管理方法,获取到备份作业,包括:
数据库节点接收backupd发送的备份作业;其中,备份作业由backupd根据用户输入的备份任务确定。
具体而言,用户通过UI输入备份任务(也可以称为备份job),UI将备份任务传递至backupd。Backupd根据用户输入的备份任务,将备份任务分成子作业(对应每一个数据库节点的备份作业),分发至每一个数据库节点。
进一步地,在完成备份任务后,主节点还可以用于向backupd汇报备份任务的执行情况,以使backupd将备份任务的执行情况返回前端UI。
在其中一个实施例中,如图3所示,本申请实施例提供的一种主备集群的备份管理方法还可以包括:
步骤302,数据库节点响应于获取到备份恢复作业,向Catalog服务器查找所属的子集群内的目标备份集和每一个数据库节点的目标归档日志,并获取Catalog服务器反馈的目标备份集的备份集地址以及目标归档日志的日志地址。
其中,备份恢复作业可以用于指示数据库节点恢复对应的数据。具体而言,DMMPP主备集群在备份时会产生多个备份集,即每一个主备子集群会产生一个备份集,备份集是按整个集群的数据分布在子集群内分片的数据产生,互不交叉,可以分别使用自己子集群内的备份集进行子集群的数据恢复或还原,从而实现组合集群的恢复或还原。每个节点有自己单独的归档日志,即使是子集群的归档日志跨节点使用也是无效的。
目标备份集可以为存储有用于恢复或克隆的数据的备份集。具体而言,存储服务器中存储有多个备份集,每一个主备子集群中的目标备份集为该主备子集群此前的数据进行备份得到的备份集。示例性地,可以基于备份集的元数据信息中所记录的该备份集归属于哪一个主备子集群以及数据库节点,确定出当前主备子集群对应的目标备份集。目标归档日志可以为当前需要恢复数据的数据库节点对应的归档日志,可以用于保留和管理应用程序或系统生成的重要日志信息,以便后续审计、故障排查、合规性等方面的需要。
进一步地,Catalog服务器中存储有目标备份集以及数据库节点的归档日志的日志地址。通过向Catalog服务器查找所属的子集群内的目标备份集和每一个数据库节点的目标归档日志,可以得到Catalog服务器反馈的目标备份集的备份集地址以及目标归档日志的日志地址。
步骤304,数据库节点基于日志地址,在存储服务器中下载目标归档日志。
具体而言,存储服务器中存储有对应的归档日志,基于对应的日志地址,可以在存储服务器中下载到对应的目标归档日志。
步骤306,数据库节点基于备份集地址和目标归档日志,恢复备份集对应的数据。
具体而言,主备集群中的所有数据库节点均执行此步骤,基于备份集地址和目标归档日志,恢复备份集对应的数据。其中,不同数据库节点对应的目标备份集与归档日志可能不同,各数据库节点根据各自的目标备份集与归档日志,恢复各自主备子集群对应的数据。
可选地,DMMPP主备集群的恢复需要关闭数据库服务的监控进程;节点恢复完后分别启动数据库,数据库会根据集群配置自动检测和同步集群数据。DMMPP主备集群中任意单个节点恢复相互独立、互不影响。
本申请实施例提供的一种主备集群的备份管理方法,通过向Catalog服务器获取目标备份集的备份集地址以及目标归档日志的日志地址,并通过存储服务器获取目标归档日志,进而恢复数据库,提供了DMMPP主备集群数据库数据的安全性备份和恢复。在对集群恢复或克隆时,可以自动识别当前组合集群架构,自动选择丢应备份集和归档日志进行恢复,智能择选系统已备份的数据库备份集和归档日志进行下载。
在其中一个实施例中,备份恢复作业由backupd根据用户输入的备份恢复任务确定。方法还可以包括:
数据库节点向backupd汇报备份恢复作业对应的恢复信息。
具体而言,在数据恢复完毕后,主备集群中的所述数据库节点均向backupd汇报备份恢复作业对应的恢复信息,以使得backupd可以将恢复信息与恢复情况返回至UI前端。
为了进一步阐释本申请实施例的方案,下面结合一个具体示例予以说明。如图1所示,DMMPP主备集群数据库的备份流程包括:
UI通过获取到用户输入的备份任务,将备份任务传输至backupd。backupd将备份任务对应的子作业分发至所有的数据库节点。每一个数据库节点在获取到子作业的情况下,进行备份前的SBT库安装,并汇报准备情况至集群管理器。集群管理器进行集群信息(例如主备信息)收集后,下发集群当前状态及集群资源锁信息至所有数据库节点。作为备份入口节点的主节点在获取到集群资源锁的情况下,检测集群主节点是否变化,并执行备份命令。备份命令用于指示主备集群中的所有主节点将各自的主节点数据作为备份集存储至存储服务器。存储服务器在接收到备份集的情况下,返回存储结果至对应的主节点。进一步地,如果备份入口选择在主备子集群的备节点,或者因为子集群的主备切换主节点切换为备节点,则只会备份该子集群的数据,而不会备份整个组合集群的数据,备份完成后应回读存储服务器进行备份集校验和备份数据的汇总。主节点将经过校验汇总的备份集写入Catalog服务器,Catalog服务器向对应主节点汇报备份集记录写入情况。主节点向集群管理器汇报备份完成情况,集群管理器通知主节点进行备份完成后收尾工作。进而,作为备份入口节点的主节点向backupd汇报备份作业的执行情况,backupd将备份作业的执行情况返回前端UI。
DMMPP主备集群数据库的恢复或克隆流程包括:
UI通过获取到用户输入的备份恢复任务,将备份恢复任务传输至backupd。backupd将备份恢复任务对应的恢复子作业分发至所有的数据库节点。数据库节点向Catalog服务器查找本子集群内合适的备份集,并获取Catalog服务器返回的备份集地址;数据库节点还向Catalog服务器查找本子集群内单节点合适的归档日志,并获取Catalog服务器返回的归档日志的日志地址。基于日志地址,数据库节点向存储服务器下载指定归档日志。备份集结合下载日志,即可恢复备份集对应的数据库。数据恢复完成后,数据库节点向backupd汇报恢复情况,以使backupd将恢复情况返回前端UI。
本申请实施例提供的一种主备集群的备份管理方法,能够提供DMMPP主备集群数据库数据的安全性备份和恢复。在对集群恢复或克隆时,可以智能择选系统已备份的数据库备份集和归档日志进行下载。.在集群中各机器的时间点同步的情况下,可以实现对DMPP主备集群的定时备份任务,包括多个任务的自动排队、自动执行等。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的主备集群的备份管理方法的主备集群的备份管理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个主备集群的备份管理装置实施例中的具体限定可以参见上文中对于主备集群的备份管理方法的限定,在此不再赘述。
在一个示例性的实施例中,如图4所示,提供了一种主备集群的备份管理装置400,应用于主备集群,主备集群包括至少两个主备子集群;每一个主备子集群包括至少两个可在主节点和备节点之间切换的数据库节点;
备份装置400包括:
备份准备模块401,用于数据库节点响应于获取到备份作业,发送备份准备信息至集群管理器;备份准备信息用于指示集群管理器下发集群资源锁信息至每一个数据库节点;
备份命令执行模块402,用于在当前作为备份入口节点的主节点获取到集群资源锁的情况下,执行备份作业中的备份命令;备份命令用于指示主节点将主节点数据作为备份集存储至存储服务器。
在其中一个实施例中,备份集包括元数据信息,元数据信息用于记录备份集所属的主备子集群,以及记录备份集所属的数据库节点。
在其中一个实施例中,还包括回读校验模块,用于回读所述备份集,当所述元数据信息记录的所述主备子集群的当前主备节点信息与实际一致,汇总本次备份执行的节点数据库大小,作为本次备份存储的总数据量写入Catalog服务器。
在其中一个实施例中,备份准备模块还用于数据库节点接收backupd发送的备份作业;其中,备份作业由backupd根据用户输入的备份任务确定。
在其中一个实施例中,还包括:
备份恢复准备模块,用于数据库节点响应于获取到备份恢复作业,向Catalog服务器查找所属的子集群内的目标备份集和每一个数据库节点的目标归档日志,并获取Catalog服务器反馈的目标备份集的备份集地址以及目标归档日志的日志地址;
归档日志下载模块,用于数据库节点基于日志地址,在存储服务器中下载目标归档日志;
备份恢复模块,用于数据库节点基于备份集地址和目标归档日志,恢复备份集对应的数据。
在其中一个实施例中,备份恢复作业由backupd根据用户输入的备份恢复任务确定;装置还包括:
恢复信息汇报模块,用于数据库节点向backupd汇报备份恢复作业对应的恢复信息。
上述主备集群的备份管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储备份数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种主备集群的备份管理方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个示例性的实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实实现上述的方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种主备集群的备份管理方法,其特征在于,应用于主备集群,所述主备集群包括至少两个主备子集群;所述主备子集群包括至少两个用于进行主备节点切换的数据库节点;
所述方法包括:
所述数据库节点响应于获取到备份作业,发送备份准备信息至集群管理器;所述备份准备信息用于指示所述集群管理器下发集群资源锁信息至每一个所述数据库节点;
在当前作为备份入口节点的主节点获取到所述集群资源锁的情况下,执行所述备份作业中的备份命令;所述备份命令用于指示所述主节点将主节点数据作为备份集存储至存储服务器。
2.根据权利要求1所述的方法,其特征在于,所述备份集包括元数据信息,所述元数据信息用于记录所述备份集所属的所述主备子集群,所述备份集所属的所述数据库节点,以及所述主备子集群的当前主备节点信息。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
回读所述备份集,当所述元数据信息记录的所述主备子集群的当前主备节点信息与实际一致,汇总本次备份执行的节点数据库大小,作为本次备份存储的总数据量写入Catalog服务器。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述获取到备份作业,包括:
所述数据库节点接收backupd发送的备份作业;其中,所述备份作业由所述backupd根据用户输入的备份任务确定。
5.根据权利要求3所述的方法,其特征在于,还包括:
所述数据库节点响应于获取到备份恢复作业,向所述Catalog服务器查找所属的子集群内的目标备份集和每一个所述数据库节点的目标归档日志,并获取所述Catalog服务器反馈的所述目标备份集的备份集地址以及所述目标归档日志的日志地址;
所述数据库节点基于所述日志地址,在所述存储服务器中下载所述目标归档日志;
所述数据库节点基于所述备份集地址和所述目标归档日志,恢复所述备份集对应的数据。
6.根据权利要求5所述的方法,其特征在于,所述备份恢复作业由所述backupd根据用户输入的备份恢复任务确定;
所述方法还包括:
所述数据库节点向所述backupd汇报所述备份恢复作业对应的恢复信息。
7.一种主备集群的备份管理装置,其特征在于,应用于主备集群,所述主备集群包括至少两个主备子集群;每一个所述主备子集群包括至少两个可在主节点和备节点之间切换的数据库节点;
所述装置包括:
备份准备模块,用于所述数据库节点响应于获取到备份作业,发送备份准备信息至集群管理器;所述备份准备信息用于指示所述集群管理器下发集群资源锁信息至每一个所述数据库节点;
备份命令执行模块,用于在当前作为备份入口节点的主节点获取到所述集群资源锁的情况下,执行所述备份作业中的备份命令;所述备份命令用于指示所述主节点将主节点数据作为备份集存储至存储服务器。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311682589.3A CN117667515A (zh) | 2023-12-08 | 2023-12-08 | 主备集群的备份管理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311682589.3A CN117667515A (zh) | 2023-12-08 | 2023-12-08 | 主备集群的备份管理方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117667515A true CN117667515A (zh) | 2024-03-08 |
Family
ID=90080419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311682589.3A Pending CN117667515A (zh) | 2023-12-08 | 2023-12-08 | 主备集群的备份管理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117667515A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113505024A (zh) * | 2021-07-08 | 2021-10-15 | 网易(杭州)网络有限公司 | 联盟链的数据处理方法、装置、电子设备及存储介质 |
CN115202929A (zh) * | 2022-06-22 | 2022-10-18 | 广州鼎甲计算机科技有限公司 | 数据库集群备份系统 |
WO2023046042A1 (zh) * | 2021-09-23 | 2023-03-30 | 华为技术有限公司 | 一种数据备份方法和数据库集群 |
CN115878384A (zh) * | 2022-12-27 | 2023-03-31 | 南京壹进制信息科技有限公司 | 一种基于备份容灾系统的分布式集群及构建方法 |
-
2023
- 2023-12-08 CN CN202311682589.3A patent/CN117667515A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113505024A (zh) * | 2021-07-08 | 2021-10-15 | 网易(杭州)网络有限公司 | 联盟链的数据处理方法、装置、电子设备及存储介质 |
WO2023046042A1 (zh) * | 2021-09-23 | 2023-03-30 | 华为技术有限公司 | 一种数据备份方法和数据库集群 |
CN115202929A (zh) * | 2022-06-22 | 2022-10-18 | 广州鼎甲计算机科技有限公司 | 数据库集群备份系统 |
CN115878384A (zh) * | 2022-12-27 | 2023-03-31 | 南京壹进制信息科技有限公司 | 一种基于备份容灾系统的分布式集群及构建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10884870B2 (en) | Method and system for implementing consistency groups with virtual machines | |
US11755415B2 (en) | Variable data replication for storage implementing data backup | |
CN105389230B (zh) | 一种结合快照技术的持续数据保护系统及方法 | |
US6983295B1 (en) | System and method for database recovery using a mirrored snapshot of an online database | |
US7103619B1 (en) | System and method for automatic audit data archiving within a remote database backup system | |
US6981114B1 (en) | Snapshot reconstruction from an existing snapshot and one or more modification logs | |
US7552358B1 (en) | Efficient backup and restore using metadata mapping | |
US8214685B2 (en) | Recovering from a backup copy of data in a multi-site storage system | |
JP2019101703A (ja) | 記憶システム及び制御ソフトウェア配置方法 | |
CN108509462B (zh) | 一种同步活动事务表的方法及装置 | |
WO2018098972A1 (zh) | 一种日志恢复方法、存储装置和存储节点 | |
US7702757B2 (en) | Method, apparatus and program storage device for providing control to a networked storage architecture | |
US9753792B2 (en) | Method and system for byzantine fault tolerant data replication | |
US10628298B1 (en) | Resumable garbage collection | |
WO2019020081A1 (zh) | 分布式系统及其故障恢复方法、装置、产品和存储介质 | |
CN102349047A (zh) | 数据插入系统 | |
US11494271B2 (en) | Dynamically updating database archive log dependency and backup copy recoverability | |
CN110121694B (zh) | 一种日志管理方法、服务器和数据库系统 | |
US11533391B2 (en) | State replication, allocation and failover in stream processing | |
US20080059731A1 (en) | Backup of hierarchically structured storage pools | |
CN114385755A (zh) | 一种分布式存储系统 | |
US11966297B2 (en) | Identifying database archive log dependency and backup copy recoverability | |
CN113986450A (zh) | 一种虚拟机备份方法及装置 | |
CN110121712A (zh) | 一种日志管理方法、服务器和数据库系统 | |
CN116048878A (zh) | 业务服务恢复方法、装置、计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |