CN114880167A - 数据备份、恢复方法、服务器、分布式系统及存储介质 - Google Patents

数据备份、恢复方法、服务器、分布式系统及存储介质 Download PDF

Info

Publication number
CN114880167A
CN114880167A CN202210508814.0A CN202210508814A CN114880167A CN 114880167 A CN114880167 A CN 114880167A CN 202210508814 A CN202210508814 A CN 202210508814A CN 114880167 A CN114880167 A CN 114880167A
Authority
CN
China
Prior art keywords
backup
recovery
data
incremental
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210508814.0A
Other languages
English (en)
Inventor
李小玺
谢玉波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Transwarp Technology Shanghai Co Ltd
Original Assignee
Transwarp Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Transwarp Technology Shanghai Co Ltd filed Critical Transwarp Technology Shanghai Co Ltd
Priority to CN202210508814.0A priority Critical patent/CN114880167A/zh
Publication of CN114880167A publication Critical patent/CN114880167A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1451Management of the data involved in backup or backup restore by selection of backup contents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据备份、恢复方法、服务器、分布式系统及存储介质。一种数据备份方法,包括:响应于备份指令,通过备份恢复管理工具将分布式系统中每个分片的全量数据备份至本地节点,并读取各所述分片的一致性位点,其中,各所述分片的全量数据以相应分片的一致性位点为结束点;基于各所述分片的一致性位点触发增量备份操作,所述增量备份操作包括通过增量备份恢复服务,根据各所述分片的一致性位点分别对各所述分片的增量数据进行实时备份。利用上述方法,能够实现统一管理全量备份与增量备份数据,并且通过增量备份恢复服务实时同步增量数据。

Description

数据备份、恢复方法、服务器、分布式系统及存储介质
技术领域
本发明涉及数据库备份恢复技术领域,尤其涉及一种数据备份、恢复方法、服务器、分布式系统及存储介质。
背景技术
目前,对数据库进行备份,按备份方式进行划分,一般可以分为全量备份、增量备份和差异备份。
然而,现有方案全量备份恢复功能与增量备份恢复功能分离,不能形成无缝衔接,需要人工确认,不方便管理。并且增量备份恢复只能恢复到最新的时间,不能指定任意时间点,也不能保证恢复后的全局一致性。
发明内容
本发明提供了一种数据备份、恢复方法、服务器、分布式系统及存储介质,以实现统一管理全量备份与增量备份数据,且在全量恢复的基础上,基于任意时间点进行增量恢复,保证恢复后的数据是全局一致的。
第一方面,本发明实施例提供了一种数据备份方法,包括:
响应于备份指令,通过备份恢复管理工具将分布式系统中每个分片的全量数据备份至本地节点,并读取各所述分片的一致性位点,其中,各所述分片的全量数据以相应分片的一致性位点为结束点;
基于各所述分片的一致性位点触发增量备份操作,所述增量备份操作包括通过增量备份恢复服务,根据各所述分片的一致性位点分别对各所述分片的增量数据进行实时备份。
可选的,通过备份恢复管理工具将分布式系统中每个分片的全量数据备份至本地节点,包括:
通过所述备份恢复管理工具初始化本地备份目录及各所述分片的连接信息;
通过所述备份恢复管理工具远程调用各所述分片的物理备份恢复工具,以使所述物理备份恢复工具将相应分片的全量数据拷贝至所述备份恢复管理工具所在节点并记录相应分片的一致性位点。
可选的,所述增量备份操作包括:
通过所述增量备份恢复服务分别以各所述分片的一致性位点为起点,监控各所述分片的增量数据;
通过所述增量备份恢复服务实时地将各所述分片的增量数据拷贝至所述备份恢复管理工具。
第二方面,本发明实施例还提供了一种数据恢复方法,包括:
响应于恢复指令,通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复,其中,所述恢复指令包括恢复时间;
通过所述备份恢复管理工具将所述被本地恢复的全量数据拷贝至各所述分片;
基于所述恢复时间触发增量恢复操作,所述增量恢复操作包括根据所述恢复时间对各所述分片在所述本地节点备份的增量数据进行恢复。
可选的,通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复,包括:
通过所述备份恢复管理工具初始化本地备份目录及各所述分片的连接信息;
通过所述备份恢复管理工具调用本地节点的物理备份恢复工具,以使所述物理备份恢复工具将所述本地节点所备份的各所述分片的全量数据恢复至所述本地节点。
可选的,在通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复之前,还包括:
通过所述备份恢复管理工具向增量备份恢复服务发送恢复时间校验请求,以使所述增量备份恢复服务对所述恢复时间进行校验。
可选的,所述增量恢复操作包括:
通过增量备份恢复服务分别对各所述分片在所述本地节点备份的增量数据进行裁剪,其中,裁剪的起点为相应分片的全量数据备份结束时的一致性位点,裁剪的结束点为所述恢复时间;
通过所述备份恢复管理工具,分别将裁剪得到的增量数据拷贝至各所述分片。
第三方面,本发明实施例还提供了一种服务器,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如本发明实施例中任一所述的数据备份方法或如本发明实施例中任一所述的数据恢复方法。
第四方面,本发明实施例还提供了一种分布式系统,包括:多个数据库节点以及如第三方面所述的服务器,其中,所述多个数据库节点划分成至少一个分片。
第五方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述的数据备份方法或如本发明实施例中任一所述的数据恢复方法。
本发明实施例提供了一种数据备份、恢复方法、服务器、分布式系统及存储介质,通过备份恢复管理工具将分布式系统中每个分片的全量数据备份至本地节点,并读取各分片的一致性位点,然后基于各所述分片的一致性位点触发增量备份操作,能够实现统一管理全量备份与增量备份数据,并实时同步增量数据,通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复,并将被本地恢复的全量数据拷贝至各分片,然后基于恢复时间触发增量恢复操作,能够在全量恢复的基础上,基于任意时间点进行增量恢复,且保证恢复后的数据是全局一致的。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种数据备份方法的流程图;
图2是根据本发明实施例一提供的一种数据备份方法操作过程示意图;
图3是根据本发明实施例二提供的一种数据恢复方法的流程图;
图4是根据本发明实施例二提供的一种数据恢复方法操作过程示意图;
图5是根据本发明实施例二提供的一种分片备份和恢复的时间点的示意图;
图6是根据本发明实施例三提供的一种服务器的结构示意图;
图7是根据本发明实施例四提供的一种分布式系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种数据备份方法的流程图,本实施例可适用于在分布式数据库场景下对数据进行备份恢复的情况,该方法可以由服务器来执行,该服务器可以采用硬件和/或软件的形式实现。如图1所示,该方法包括:
S110、响应于备份指令,通过备份恢复管理工具将分布式系统中每个分片的全量数据备份至本地节点,并读取各所述分片的一致性位点。
其中,分布式数据库系统(即分布式系统)通常使用较小的计算机系统,每台计算机可单独放在一个地方,并具有自己局部的数据库,位于不同地点的许多计算机通过网络互相连接,共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。分布式数据需要进行备份时,可以通过响应用户发起的备份指令进行备份。分片可以认为是分布式数据库分片,一个分布式数据库系统往往具有多个分片。一致性位点可认为是通过备份恢复管理工具对分布式数据库中每个分片进行全量备份的结束点,即各分片的全量数据以相应分片的一致性位点为结束点。
示例性的,分布式数据库中的两个分片,记录分片全量备份结束的位置,分片1备份到第100个位置,分片2到第99个位置,增量备份时,分片1从100开始,分片2从99开始,具体若要按真正的位置来算的话,可以引入一个全局的时间戳,比如在分片1的第100个位置的时间戳转换成时间是14:00:00,分片2是14:00:03,即分片1的一致性位点为14:00:00,分片2的一致性位点为14:00:03。
全量备份可以认为是对分布式数据库某一时间点上的数据进行的一个完全拷贝,相应的,全量数据可以认为是分布式数据库某一时间点上的全部数据。增量备份可以认为是在一次全量备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加或者被修改的数据,相应的,增量数据可以认为是在一次全量备份或上一次增量备份后,以后每次备份的与前一次相比增加或者被修改的数据。这就意味着,第一次增量备份的对象是进行全备后所产生的增加和修改的数据;第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的数据,如此类推。
备份恢复管理工具可以认为是一台服务器中的数据库工具。采用数据库工具的方式对分布式数据库进行备份,能够不影响分布式数据库的在线业务,不增加数据节点的负荷。其中,备份恢复管理工具可以提供分布式数据库备份恢复入口,维护备份恢复文件,控制备份恢复的流程。
S120、基于各所述分片的一致性位点触发增量备份操作,所述增量备份操作包括通过增量备份恢复服务,根据各所述分片的一致性位点分别对各所述分片的增量数据进行实时备份。
其中,增量备份恢复服务可以认为是和备份恢复管理工具同一台服务器中的数据库工具,可以用于在备份期间实时向各个分片获取同步增量日志,恢复期间对增量日志进行裁剪。
增量备份操作是在全量备份的基础上进行的,即增量备份操作可以是在一次全量备份后,备份与全量备份相比增加或者被修改的数据,具体的,每个分片的一致性位点为各分片一次全量备份的结束点,基于各分片的一致性位点触发增量备份操作,即是在一次全量备份后进行增量备份操作。通过增量备份恢复服务中的一个备份功能,监听各分片上的更改,然后根据各分片一致性位点之后的各分片上的更改,实时对其进行增量数据备份。
需要说明的是,相关技术的全量备份恢复功能与增量备份恢复功能分离,不能形成无缝衔接,需要人工确认,分步执行,不方便管理,而本发明实施例在做完全量备份之后,记录各分片全量备份的结束位置即一致性位点,然后基于各分片的一致性位点触发增量备份操作,能够实现在某一节点上对全量备份与增量备份数据的统一管理。
可选的,通过备份恢复管理工具将分布式系统中每个分片的全量数据备份至本地节点,包括:
通过备份恢复管理工具初始化本地备份目录及各分片的连接信息;
通过备份恢复管理工具远程调用各分片的物理备份恢复工具,以使所述物理备份恢复工具将相应分片的全量数据拷贝至备份恢复管理工具并记录相应分片的一致性位点。
其中,备份目录可以认为是备份文件夹,各分片的连接信息可以表征不同分片之间的具体连接关系。
物理备份恢复工具也可以是和备份恢复管理工具同一台服务器中的数据库工具,能够对分布式数据库进行一致性全量物理热备份恢复(热备份是系统处于正常运转状态下的备份),并在备份结束后记录一致性位点,用来为增量备份恢复服务器提供开始同步位置。
具体的,首先备份恢复管理工具收到备份指令,初始化本地备份目录及各个分片的连接信息,然后备份恢复管理工具远程调用各分片上的物理备份恢复工具,开始执行全量物理备份,接着物理备份恢复工具拷贝各个分片的全量数据至备份恢复管理工具所在节点,完成后记录相应分片的一致性位点,最后物理备份恢复工具全量备份完成后向备份恢复管理工具响应备份结果。备份恢复管理工具会读取各个分片备份信息中的一致性位点。
可选的,增量备份操作包括:
通过增量备份恢复服务分别以各分片的一致性位点为起点,监控各分片的增量数据;通过增量备份恢复服务实时地将各分片的增量数据拷贝至备份恢复管理工具。
具体的,相关技术是通过使用分布式数据库服务定期调用日志采集工具来进行增量备份,而本发明实施例通过增量备份恢复服务分别以各分片的一致性位点为起点,向各分片注册同步任务,监控各分片的增量数据,各分片有新的增量数据时会自动向增量备份恢复服务实时推送增量数据,增量备份恢复服务读取解析增量数据并写入本地增量备份文件,即能够实时地将各分片的增量数据拷贝至备份恢复管理工具所在节点。
图2为本发明实施例提供的一种数据备份方法操作过程示意图,如图2所示,对分布式数据库进行数据备份操作的整体过程具体为:
步骤1:备份恢复管理工具收到备份命令(即备份指令),初始化本地备份目录及各个分片的连接信息。
步骤2:备份恢复管理工具根据收到的备份命令,向物理备份恢复工具发送备份请求。
具体的,备份请求可以认为是指示物理备份恢复工具进行全量物理备份的请求,向物理备份恢复工具发送备份请求后,备份恢复管理工具远程调用各节点上的物理备份恢复工具,开始执行全量物理备份。
步骤3:物理备份恢复工具拷贝各个分片的物理数据文件至备份恢复管理工具所在节点,完成后记录一致性位点。
步骤4:物理备份恢复工具全量备份完成后向备份恢复管理工具响应备份结果。
步骤5:备份恢复管理工具读取每一个分片备份信息中的一致性位点。
步骤6:备份恢复管理工具向增量备份恢复服务器发送增量同步请求。
步骤7:增量备份恢复服务器依据一致性位点开始对各个分片的日志进行实时增量备份。
步骤8:增量备份恢复服务器向备份恢复管理工具响应同步备份任务的结果。
本发明实施例提供了一种数据备份方法,通过备份恢复管理工具将分布式系统中每个分片的全量数据备份至本地节点,并读取各分片的一致性位点,然后基于各所述分片的一致性位点触发增量备份操作,能够实现在某一节点上统一管理全量备份与增量备份数据,并实时同步增量数据。
实施例二
图3为本发明实施例二提供的一种数据恢复方法的流程图,未在本实施例中详尽描述的技术细节可参见上述任意实施例。
如图3所示,该方法包括:
S210、响应于恢复指令,通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复。
其中,所述恢复指令包括恢复时间。备份恢复管理工具能够提为客户提供查询入口,可以实时的查询能够全局一致性恢复的时间区间,然后用户指定一个恢复时间,例如14:25:00,备份恢复管理工具需要将用户提供的恢复时间转化为分布式数据库能够识别的快照时间戳格式(Snapshot Time Stamp,STS)。
本地恢复可以认为是数据库启动时候的一个初始化的过程,本地模拟了一个全量数据库重启的操作,即本地恢复了各分片的全量数据,被本地恢复的全量数据对应于全量备份操作的全量数据。
S220、通过所述备份恢复管理工具将所述被本地恢复的全量数据拷贝至各所述分片。
S230、基于所述恢复时间触发增量恢复操作,所述增量恢复操作包括根据所述恢复时间对各所述分片在所述本地节点备份的增量数据进行恢复。
其中,增量恢复操作是从各分片一致性位点开始执行的,并以用户指定的恢复时间为结束点对各分片在本地节点备份的增量数据进行恢复的。
通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复,并将被本地恢复的全量数据拷贝至各分片,然后以各分片一致性位点为开始点,以用户指定的恢复时间为结束点进行增量恢复操作,能够在全量恢复的基础上,基于恢复时间区间内的任意时间点进行增量恢复,且保证恢复后的数据是全局一致的。
可选的,通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复,包括:
通过备份恢复管理工具初始化本地备份目录及各分片的连接信息;
通过所述备份恢复管理工具调用本地节点的物理备份恢复工具,以使物理备份恢复工具将本地节点所备份的各分片的全量数据恢复至本地节点。
具体的,备份恢复管理工具在收到用户的恢复指令时,会通过备份恢复管理工具初始化本地备份目录及各分片的连接信息,并调用本地节点的物理备份恢复工具,将本地节点备份的各分片的全量数据恢复到各分片一致性位点的位置。
可选的,在通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复之前,还包括:
通过备份恢复管理工具向增量备份恢复服务发送恢复时间校验请求,以使增量备份恢复服务对恢复时间进行校验。
具体的,通过增量备份恢复服务对恢复时间进行校验,是为了校验恢复时间的转化后的STS格式是否有误以及是否位于全局一致性恢复的时间区间。
可选的,增量恢复操作包括:
通过增量备份恢复服务分别对各分片在所述本地节点备份的增量数据进行裁剪,其中,裁剪的起点为相应分片的全量数据备份结束时的一致性位点,裁剪的结束点为所述恢复时间;
通过备份恢复管理工具,分别将裁剪得到的增量数据拷贝至各分片。
其中,各分片的一致性位点很可能是不相同的,裁剪可以认为是将各分片从恢复时间到各分片最新增量数据所对应的时间之间的数据剪去,经过裁剪后的数据库中的各个分片的数据均处于用户指定的恢复时间处,可以保持是全局一致的。
示例性的,当用户指定的恢复时间为14:25:00时,分布式数据库中的两个分片,分片1全量备份结束时的一致性位点为14:00:00,分片2全量备份结束时的一致性位点为14:00:03,那么裁剪的起点为各分片的一致性位点,裁剪的结束点为恢复时间14:25:00。即裁剪后保留的数据:分片1为14:00:00-14:25:00的数据;分片2为14:00:03-14:25:00的数据。
此外,在备份时可以选择时机进行离线操作,当全量或增量备份时,通知分布式数据库管理节点,管理节点在没有全局事务运行时择机离线(即数据节点离线),待备份操作完成后重新上线,此种做法可以保证每次备份都是全局一致性的,不需要恢复时进行裁剪操作,但是只适用于分布式数据库有业务空闲时段的场景,否则就会影响在线业务。其中从各个分片的总入口进行一个操作会涉及多个分片的修改,称之为全局事务。
图4为本发明实施例提供的一种数据恢复方法操作过程示意图,如图4所示,对分布式数据库进行数据恢复操作的整体过程具体为:
步骤1:备份恢复管理工具收到恢复命令(即恢复指令),其中包含指定的恢复时间,初始化本地备份目录及各个分片的连接信息。
步骤2:备份恢复管理工具将用户提供的恢复时间转化为STS格式,并向增量备份恢复服务器发送校验恢复时间请求。
步骤3:增量备份恢复服务器向备份恢复管理工具响应恢复时间的校验结果。
步骤4:备份恢复管理工具调用本节点上的物理备份恢复工具,开始在本地执行全量物理恢复。
步骤5:物理备份恢复工具全量恢复完成后向备份恢复管理工具响应恢复结果。
步骤6:备份恢复管理工具将本地恢复后的数据同步到各个分片的数据目录中。
步骤7:备份恢复管理工具向增量备份恢复服务器发送增量恢复请求,开始增量的一致性恢复。
步骤8:增量备份恢复服务器根据备份恢复管理工具提供的恢复时间(STS)对各个分片的增量日志文件在本地进行裁剪。
步骤9:增量备份恢复服务器向备份恢复管理工具发送裁剪日志文件结果。
步骤10:恢复管理工具将本地裁剪后的日志文件拷贝至各个分片。
图5为本发明实施例提供的一种分片备份和恢复的时间点的示意图,如图5所示,分片1和2的全量数据备份均从13:55:00开始,分片1的全量备份结束时间为14:00:00,即分片1的一致性位点为14:00:00,分片2的全量备份结束时间为14:00:03,即分片2的一致性位点为14:00:03。分片1最新的增量数据所对应的时间为14:27:00,分片2最新的增量数据所对应的时间为14:27:05,当前的时间为14:28:00。14:00:03--14:27:00为用户可选的恢复时间区间。
具体的,全量数据为每个分片的全量数据,且全量结束后记录了全量备份结束时的一致性位点(对应的时间为全量结束时间,但是这个时间不能作为增量开始的依据,只能作为恢复时间的区间参考,增量备份还是依据各分片全量备份结束时的一致性位点开始的)。增量数据为每个分片全量备份结束时的一致性位点至当前分片已增量备份的时间点之间的数据。
恢复时间可选区间为14:00:03--14:27:00,即从各分片的全量备份结束时间中最大的结束时间到各分片的最新增量数据所对应时间中最小的增量备份时间,比如,此时指定了恢复时间为14:25:00。全量恢复的数据为各分片全量备份的数据,增量恢复的数据为各分片对增量备份裁剪保留的数据。其中分片1裁剪保留的数据为分片1全量备份结束时的一致性位点至14:25:00的增量数据;分片2裁剪保留的数据为分片2全量备份结束时的一致性位点至14:25:00的增量数据。分片1裁剪舍弃的数据为分片1从14:25:00至14:27:00的增量数据;分片2裁剪舍弃的数据为分片2从14:25:00至14:27:05的增量数据。
本发明实施例提供了一种数据恢复方法,通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复,并将被本地恢复的全量数据拷贝至各分片,然后基于恢复时间触发增量恢复操作,能够在全量恢复的基础上,基于任意时间点进行增量恢复,且保证恢复后的数据是全局一致的。
实施例三
图6示出了可以用来实施本发明的实施例的服务器10的结构示意图。服务器旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6所示,服务器10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储服务器10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
服务器10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许服务器10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如方法XXX。
在一些实施例中,方法实施例一和二可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法实施例一和二。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在服务器上实施此处描述的系统和技术,该服务器具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给服务器。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
实施例四
图7为本发明实施例四提供的一种分布式系统的结构示意图。如图7所示,该分布式系统包括:多个数据库节点62以及本发明实施例提供的服务器10,其中,所述多个数据库节点62划分成至少一个分片。
其中,服务器10中部署有多种数据库工具,具体包括备份恢复管理工具、增量备份恢复服务以及物理备份恢复工具。
本发明实施例通过备份恢复管理工具将分布式系统中每个分片的全量数据备份至本地节点,并读取各分片的一致性位点,然后基于各所述分片的一致性位点触发增量备份操作,能够实现统一管理全量备份与增量备份数据,并定期同步增量数据,通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复,并将被本地恢复的全量数据拷贝至各分片,然后基于恢复时间触发增量恢复操作,能够在全量恢复的基础上,基于任意时间点进行增量恢复,且保证恢复后的数据是全局一致的。
本实施例四提供的一种分布式系统可以用于实现上述任意实施例提供的数据备份或数据恢复方法,具备相应的功能和有益效果。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种数据备份方法,其特征在于,包括:
响应于备份指令,通过备份恢复管理工具将分布式系统中每个分片的全量数据备份至本地节点,并读取各所述分片的一致性位点,其中,各所述分片的全量数据以相应分片的一致性位点为结束点;
基于各所述分片的一致性位点触发增量备份操作,所述增量备份操作包括通过增量备份恢复服务,根据各所述分片的一致性位点分别对各所述分片的增量数据进行实时备份。
2.根据权利要求1所述的方法,其特征在于,通过备份恢复管理工具将分布式系统中每个分片的全量数据备份至本地节点,包括:
通过所述备份恢复管理工具初始化本地备份目录及各所述分片的连接信息;
通过所述备份恢复管理工具远程调用各所述分片的物理备份恢复工具,以使所述物理备份恢复工具将相应分片的全量数据拷贝至所述备份恢复管理工具所在节点并记录相应分片的一致性位点。
3.根据权利要求1所述的方法,其特征在于,所述增量备份操作包括:
通过所述增量备份恢复服务分别以各所述分片的一致性位点为起点,监控各所述分片的增量数据;
通过所述增量备份恢复服务实时地将各所述分片的增量数据拷贝至所述备份恢复管理工具。
4.一种数据恢复方法,其特征在于,包括:
响应于恢复指令,通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复,其中,所述恢复指令包括恢复时间;
通过所述备份恢复管理工具将所述被本地恢复的全量数据拷贝至各所述分片;
基于所述恢复时间触发增量恢复操作,所述增量恢复操作包括根据所述恢复时间对各所述分片在所述本地节点备份的增量数据进行恢复。
5.根据权利要求4所述的方法,其特征在于,通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复,包括:
通过所述备份恢复管理工具初始化本地备份目录及各所述分片的连接信息;
通过所述备份恢复管理工具调用本地节点的物理备份恢复工具,以使所述物理备份恢复工具将所述本地节点所备份的各所述分片的全量数据恢复至所述本地节点。
6.根据权利要求4所述的方法,其特征在于,在通过备份恢复管理工具根据本地节点所备份的分布式系统中每个分片的全量数据进行本地恢复之前,还包括:
通过所述备份恢复管理工具向增量备份恢复服务发送恢复时间校验请求,以使所述增量备份恢复服务对所述恢复时间进行校验。
7.根据权利要求4所述的方法,其特征在于,所述增量恢复操作包括:
通过增量备份恢复服务分别对各所述分片在所述本地节点备份的增量数据进行裁剪,其中,裁剪的起点为相应分片的全量数据备份结束时的一致性位点,裁剪的结束点为所述恢复时间;
通过所述备份恢复管理工具,分别将裁剪得到的增量数据拷贝至各所述分片。
8.一种服务器,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-3中任一所述的数据备份方法或如权利要求4-7中任一所述的数据恢复方法。
9.一种分布式系统,其特征在于,包括:多个数据库节点以及如权利要求8所述的服务器,其中,所述多个数据库节点划分成至少一个分片。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-3中任一所述的数据备份方法或如权利要求4-7中任一所述的数据恢复方法。
CN202210508814.0A 2022-05-10 2022-05-10 数据备份、恢复方法、服务器、分布式系统及存储介质 Pending CN114880167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210508814.0A CN114880167A (zh) 2022-05-10 2022-05-10 数据备份、恢复方法、服务器、分布式系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210508814.0A CN114880167A (zh) 2022-05-10 2022-05-10 数据备份、恢复方法、服务器、分布式系统及存储介质

Publications (1)

Publication Number Publication Date
CN114880167A true CN114880167A (zh) 2022-08-09

Family

ID=82675067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210508814.0A Pending CN114880167A (zh) 2022-05-10 2022-05-10 数据备份、恢复方法、服务器、分布式系统及存储介质

Country Status (1)

Country Link
CN (1) CN114880167A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116107807A (zh) * 2023-01-10 2023-05-12 北京万里开源软件有限公司 数据库中数据备份时获取全局一致性点位的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116107807A (zh) * 2023-01-10 2023-05-12 北京万里开源软件有限公司 数据库中数据备份时获取全局一致性点位的方法及装置
CN116107807B (zh) * 2023-01-10 2023-10-13 北京万里开源软件有限公司 数据库中数据备份时获取全局一致性点位的方法及装置

Similar Documents

Publication Publication Date Title
US7594138B2 (en) System and method of error recovery for backup applications
JP4483342B2 (ja) システム復旧方法
CN109558215B (zh) 虚拟机的备份方法、恢复方法、装置及备份服务器集群
CN107256182B (zh) 一种数据库还原的方法及设备
CN106407356B (zh) 一种数据备份方法及装置
WO2016180160A1 (zh) 数据快照的恢复方法和装置
US9377964B2 (en) Systems and methods for improving snapshot performance
US7386752B1 (en) Using asset dependencies to identify the recovery set and optionally automate and/or optimize the recovery
EP2366150B1 (en) Method and system for multi-server application synchronization without stopping i/o
CN110704242B (zh) 一种连续数据保护系统及方法
CN106844102B (zh) 数据恢复方法和装置
CN110543386B (zh) 一种数据存储方法、装置、设备和存储介质
EP3238063B1 (en) Techniques for data backup and restoration
CN110825562B (zh) 数据备份方法、装置、系统和存储介质
CN112286728A (zh) 数据备份方法、装置、设备及计算机存储介质
CN113722155A (zh) 一种分布式文件系统内数据备份及修复方法及相关组件
CN114281591A (zh) 存储节点故障处理方法、装置、设备及存储介质
CN114880167A (zh) 数据备份、恢复方法、服务器、分布式系统及存储介质
CN115729749A (zh) 一种数据备份方法及系统
WO2023240995A1 (zh) 一种双机热备系统的数据恢复方法、装置及介质
US11042454B1 (en) Restoration of a data source
CN113515574A (zh) 一种数据同步方法及装置
CN117215838A (zh) 一种数据库的数据处理方法、装置、设备及介质
CN115454725A (zh) 数据库备份方法、装置、电子设备和存储介质
US20230252045A1 (en) Life cycle management for standby databases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination