CN112131051B - 基于参数化配置的数据备份方法及装置 - Google Patents

基于参数化配置的数据备份方法及装置 Download PDF

Info

Publication number
CN112131051B
CN112131051B CN202011056108.4A CN202011056108A CN112131051B CN 112131051 B CN112131051 B CN 112131051B CN 202011056108 A CN202011056108 A CN 202011056108A CN 112131051 B CN112131051 B CN 112131051B
Authority
CN
China
Prior art keywords
data
data table
backup
backed
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011056108.4A
Other languages
English (en)
Other versions
CN112131051A (zh
Inventor
崔继亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202011056108.4A priority Critical patent/CN112131051B/zh
Publication of CN112131051A publication Critical patent/CN112131051A/zh
Application granted granted Critical
Publication of CN112131051B publication Critical patent/CN112131051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于参数化配置的数据备份方法及装置,其中,该方法包括:获取对待备份数据表执行数据备份操作的表名、数据备份日期、数据备份间隔周期和数据备份策略等参数配置信息;根据参数配置信息中包含的表名,查询出待备份数据表的各个数据表分区;根据参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作;根据本次对待备份数据表执行数据备份操作的数据备份日期和数据备份间隔周期,生成下一次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略。本发明能够减少备份的数据量,从而大大降低数据冗余度,缩短数据备份过程的用时。

Description

基于参数化配置的数据备份方法及装置
技术领域
本发明涉及数据库领域,尤其涉及一种基于参数化配置的数据备份方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
对于大部分系统来说,都会有数据备份的需求,目前,针对对数据表分区的备份,仅支持按日期的备份。对于其他分区方式需要根据具体的分区方式开发对应的备份策略。如果待备份的数据表不是按时间分区的,对数据表各个分区的数据备份,通常是都是定期(例如,每天)进行全量数据备份的,这种方式,导致备份后的数据存在大量冗余,且数据备份过程用时较长。
针对上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供了一种基于参数化配置的数据备份方法,用以解决现有技术定时对数据表的各个数据表分区进行全量数据备份,存在数据冗余且备份过程用时较长的技术问题,该方法包括:获取对待备份数据表执行数据备份操作的参数配置信息,其中,参数配置信息中包含待备份数据表的表名、数据备份日期、数据备份间隔周期和数据备份策略,数据备份策略用于确定待备份数据表中待备份的数据;根据参数配置信息中包含的表名,查询出待备份数据表的各个数据表分区;根据参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作;根据本次对待备份数据表执行数据备份操作的数据备份日期和数据备份间隔周期,生成下一次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略。
本发明实施例中还提供了一种基于参数化配置的数据备份装置,用以解决现有技术定时对数据表的各个数据表分区进行全量数据备份,存在数据冗余且备份过程用时较长的技术问题,该装置包括:参数配置信息获取模块,用于获取对待备份数据表执行数据备份操作的参数配置信息,其中,参数配置信息中包含待备份数据表的表名、数据备份日期、数据备份间隔周期和数据备份策略,数据备份策略用于确定待备份数据表中待备份的数据;数据表分区查询模块,用于根据参数配置信息中包含的表名,查询出待备份数据表的各个数据表分区;数据备份模块,用于根据参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作;参数配置信息更新模块,用于根据本次对待备份数据表执行数据备份操作的数据备份日期和数据备份间隔周期,生成下一次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略。
本发明实施例中还提供了一种计算机设备,用以解决现有技术定时对数据表的各个数据表分区进行全量数据备份,存在数据冗余且备份过程用时较长的技术问题,该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述基于参数化配置的数据备份方法。
本发明实施例中还提供了一种计算机可读存储介质,用以解决现有技术定时对数据表的各个数据表分区进行全量数据备份,存在数据冗余且备份过程用时较长的技术问题,该计算机可读存储介质存储有执行上述基于参数化配置的数据备份方法的计算机程序。
本发明实施例中,通过配置对待备份数据表执行数据备份操作的各种参数信息(待备份数据表的表名、数据备份日期、数据备份间隔周期和数据备份策略),能够根据配置的待备份数据表的表名,查询出待备份数据表的各个数据表分区;进而根据配置的数据备份策略,从待备份数据表的各个数据表分区中筛选出待备份的数据表分区(例如,发生数据变化的分区),对筛选出的的数据表分区执行数据备份操作,与现有技术中对数据表的各个分区的数据进行全量备份的技术方案相比,本发明实施例中根据参数配置信息对待备份数据表的各个数据表分区进行筛选后备份,能够实现针对数据变化情况自动调整待备份数据的目的,满足不同用户的数据备份需求,减少备份数据的数据量,可以大大缩短数据备份过程的用时,降低备份数据的冗余度。
进一步地,本发明实施例根据本次对待备份数据表执行数据备份操作的数据备份日期和数据备份间隔周期,生成下一次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略,能够实现自动更新对待备份数据表执行数据备份操作的参数配置信息,减少用户对数据备份参数信息的配置操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中提供的一种基于参数化配置的数据备份方法流程图;
图2为本发明实施例中提供的一种数据备份方法流程图;
图3为本发明实施例中提供的又一种数据备份方法流程图;
图4为本发明实施例中提供的一种基于参数化配置的数据备份装置示意图;
图5为本发明实施例中提供的一种计算机设备示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
本发明实施例中提供了一种基于参数化配置的数据备份方法,图1为本发明实施例中提供的一种基于参数化配置的数据备份方法流程图,如图1所示,该方法包括如下步骤:
S101,获取对待备份数据表执行数据备份操作的参数配置信息,其中,参数配置信息中包含待备份数据表的表名、数据备份日期、数据备份间隔周期和数据备份策略,数据备份策略用于确定待备份数据表中待备份的数据。
需要说明的是,本发明实施例中待备份数据表是指分区存储的数据表,该数据表包含:多个数据表分区。可选地,待备份数据表的各个数据表分区可以是按照一定规律排列的分区。例如,按照序号升序或降序进行排列的多个分区,各个分区的序号可以不连续,且各个分区的长度也可不同。
本发明实施例中的数据备份策略包括但不限于:第一备份策略、第二备份策略、第三备份策略、第四备份策略和第五备份策略;其中,第一备份策略用于对待备份数据表的全量数据执行数据备份操作的第一备份策略;第二备份策略用于对待备份数据表的当前数据表分区和当前数据表分区的上一个数据表分区执行数据备份操作;第三备份策略用于对待备份数据表的当前数据表分区执行数据备份操作;第四备份策略用于对待备份数据表的各个数据表分区中所有发生数据变化的数据表分区执行数据备份操作;第五备份策略用于对待备份数据表的各个数据表分区中满足预设数据筛选条件的数据执行数据备份操作。
需要注意的是,上述S101获取的参数配置信息可以是用户自定义配置的对待备份数据表执行数据备份操作的参数信息,也可以系统自动生成的对待备份数据表执行数据备份操作的参数信息。例如,在执行完成S104之后,将生成的下一次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略,结合本次对待备份数据表执行数据备份操作的表名和数据备份间隔周期等信息,一起作为下一次对待备份数据表执行数据备份操作的参数配置信息,实现一次配置,多次使用的数据备份模式。
S102,根据参数配置信息中包含的表名,查询出待备份数据表的各个数据表分区。
由于本发明实施例中待备份数据表中的数据是由多个数据表分区进行存储的,因而,在对待备份数据表进行数据备份的时候,可以根据待备份数据表的表名,查询出该待备份数据表的所有数据表分区。
S103,根据参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作。
本发明实施例中,由用户自定义配置数据备份策略,从从待备份数据表的各个数据表分区筛选出待备份的数据表分区,进而仅对筛选出的数据表分区执行数据备份操作,能够大大降低备份数据的冗余度,且能够在较短的时间内完成数据备份工作。
在具体实施时,上述S103可以通过但不限于如下任意一种数据备份方式来实现:
第一种:对待备份数据表的所有数据表分区执行数据备份操作。
第二种:从待备份数据表的各个数据表分区中,筛选出当前发生数据变化的数据表分区,作为当前数据表分区,进而对当前数据表分区和当前数据表分区的上一个数据表分区,执行数据备份操作。
第三种:从待备份数据表的各个数据表分区中,筛选出当前发生数据变化的数据表分区,进而对当前发生数据变化的数据表分区,执行数据备份操作。
第四种:从待备份数据表的各个数据表分区中,筛选出所有发生数据变化的数据表分区,进而对所有发生数据变化的数据表分区,执行数据备份操作。
第五种:从待备份数据表的各个数据表分区,筛选出待备份的数据表分区,进而从待备份的数据表分区中,筛选出满足预设数据筛选条件的数据,执行数据备份操作。
S104,根据本次对待备份数据表执行数据备份操作的数据备份日期和数据备份间隔周期,生成下一次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略。
由于生产环境的数据是不断变化的,需要定时执行数据备份工作,为了尽量减少数据备份的维护工作,本发明实施例中,当用户配置好一次数据备份的参数信息后,系统能够根据本次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略,自动生成下一次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略,进而结合用户自定义配置的表名、数据备份间隔周期,生成下一次对待备份数据表执行数据备份操作的参数配置信息,以便下一次待备份数据表执行数据备份操作的时候,无需人为配置数据备份的参数信息。
如图2所示,当配置的数据备份策略包括:第一备份策略、第二备份策略、第三备份策略和第四备份策略的情况下,上述S103可以通过如下步骤来实现:
S201,根据第二备份策略、第三备份策略和第四备份策略,筛选出待备份数据表的各个数据表分区中发生数据变化的数据表分区;
S202,根据第一备份策略,对发生数据变化的数据表分区执行全量数据备份操作。
如图3所示,当数据备份策略中包含第一备份策略、第二备份策略、第三备份策略、第四备份策略和第五备份策略的情况下,上述S103可以通过如下步骤来实现:
S301根据第二备份策略、第三备份策略和第四备份策略,筛选出待备份数据表的各个数据表分区中发生数据变化的数据表分区;
S302,根据第一备份策略和第五备份策略,对发生数据变化的数据表分区中满足预设数据筛选条件的数据执行全量数据备份操作。
以按月备份数据为例,本发明实施例中提供的基于参数化配置的数据备份方法,可以提供全量、增量、按固定备份周期、备份当前分区、备份最近一个备份周期数据的数据表分区、按条件备份数据等数据备份策略,同时设置数据备份间隔周期,结合记录的数据备份时刻(例如,备份日期)及日期等参数,备份机制会根据用户策略及时间间隔自动生成下一次对数据表进行数据备份的备份策略。具体包括:
①用户配置备份策略。
配置表名、备份日期、备份策略(A、L、M、Q、C)、数据筛选条件(针对备份策略Q可编写备份时数据的筛选条件)、数据备份间隔周期。
其中,A表示全量备份;M表示对当前数据表分区和当前数据表分区的上一个数据表分区执行数据备份操作;L表示对当前发生数据变化的数据表分区执行数据备份操作;C表示对所有发生数据变化的数据表分区执行数据备份操作;Q表示对数据表分区中满足预设数据筛选条件的数据执行数据备份操作。
②根据用户策略分析出需要备份的数据。
根据策略L、M、C,通过分析数据表分区的最近变动情况,找出符合条件的数据表分区,并生成对应的A的记录(即备份分区表分区的全量,时间间隔为0,此策略为生成策略不继承)。
③将需要备份的数据进行备份。
根据配置表备份所有A和Q模式的表数据(L、M、Q以通过分析转换为对应的A类型的记录),生成备份数据。
④根据用户策略及时间间隔日期参数生成下一次备份时的备份策略。
进一步地,使用备份日期和日期间隔能够继承出下次数据备份的数据备份策略。
本发明实施例中还提供了一种基于参数化配置的数据备份装置,如下面的实施例所述。由于该装置解决问题的原理与基于参数化配置的数据备份方法相似,因此该装置的实施可以参见基于参数化配置的数据备份方法的实施,重复之处不再赘述。
图4为本发明实施例中提供的一种基于参数化配置的数据备份装置示意图,如图4所示,该装置包括:参数配置信息获取模块41、数据表分区查询模块42、数据备份模块43和参数配置信息更新模块44。
其中,参数配置信息获取模块41,用于获取对待备份数据表执行数据备份操作的数据备份参数信息,其中,数据备份参数信息中至少包含:待备份数据表的表名、数据备份间隔周期和数据备份策略;数据表分区查询模块42,用于根据待备份数据表的表名,查询出待备份数据表的一个或多个数据表分区;数据备份模块43,用于根据待备份数据表的数据备份策略,从待备份数据表的各个数据表分区中筛选出发生数据变化的数据表分区,对发生数据变化的数据表分区执行数据备份操作;参数配置信息更新模块44,用于记录本次执行数据备份操作的数据备份时刻,并根据本次记录的数据备份时刻和待备份数据表的数据备份间隔周期,生成下一次对待备份数据表执行数据备份操作的数据备份策略。
在一个实施例中,当上述参数配置信息获取模块41配置的数据备份策略为对待备份数据表的全量数据执行数据备份操作的第一备份策略的情况下,上述数据备份模块43还用于对待备份数据表的所有数据表分区执行数据备份操作。
在一个实施例中,当上述参数配置信息获取模块41配置的数据备份策略为对待备份数据表的当前数据表分区和当前数据表分区的上一个数据表分区执行数据备份操作的第二备份策略的情况下,上述数据备份模块43还用于从待备份数据表的各个数据表分区中,筛选出当前发生数据变化的数据表分区,作为当前数据表分区;以及对当前数据表分区和当前数据表分区的上一个数据表分区,执行数据备份操作。
在一个实施例中,当上述参数配置信息获取模块41配置的数据备份策略为对待备份数据表的当前数据表分区执行数据备份操作的第三备份策略的情况下,上述数据备份模块43还用于从待备份数据表的各个数据表分区中,筛选出当前发生数据变化的数据表分区;以及对当前发生数据变化的数据表分区,执行数据备份操作。
在一个实施例中,当上述参数配置信息获取模块41的数据备份策略为对待备份数据表的全量数据执行数据备份操作的第一备份策略的情况下,上述数据备份模块43还用于对待备份数据表的所有数据表分区执行数据备份操作。
在一个实施例中,当上述参数配置信息获取模块41配置的数据备份策略为对待备份数据表的各个数据表分区中所有发生数据变化的数据表分区执行数据备份操作的第四备份策略的情况下,上述数据备份模块43还用于从待备份数据表的各个数据表分区中,筛选出所有发生数据变化的数据表分区;以及对所有发生数据变化的数据表分区,执行数据备份操作。
在一个实施例中,当上述参数配置信息获取模块41配置的数据备份策略为对待备份数据表的各个数据表分区中满足预设数据筛选条件的数据执行数据备份操作的第五备份策略的情况下,上述数据备份模块43还用于从待备份数据表的各个数据表分区,筛选出待备份的数据表分区;以及从待备份的数据表分区中,筛选出满足预设数据筛选条件的数据,执行数据备份操作。
在一个实施例中,本发明实施例中提供的基于参数化配置的数据备份装置中,通过参数配置信息获取模块41配置的数据备份策略中至少包含:第一备份策略、第二备份策略、第三备份策略和第四备份策略。则上述数据备份模块43还用于:根据第二备份策略、第三备份策略和第四备份策略,筛选出待备份数据表的各个数据表分区中发生数据变化的数据表分区;根据第一备份策略,对发生数据变化的数据表分区执行全量数据备份操作。
可选地,参数配置信息获取模块41配置的数据备份策略中还包含:第五备份策略的情况下,参数配置信息获取模块41还用于配置对数据表分区进行数据筛选的数据筛选条件;则上述数据备份模块43还用于:根据第二备份策略、第三备份策略和第四备份策略,筛选出待备份数据表的各个数据表分区中发生数据变化的数据表分区;根据第一备份策略和第五备份策略,对发生数据变化的数据表分区中满足预设数据筛选条件的数据执行全量数据备份操作。
基于同一发明构思,本发明实施例中还提供了一种计算机设备,用以解决现有技术在对数据表定时备份数据的时候,要对数据表的各个分区的数据进行全量备份,导致备份数据存在冗余且备份过程需要占用较长时间的技术问题,图5为本发明实施例中提供的一种计算机设备示意图,如图5所示,该计算机设备50包括存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序,处理器502执行计算机程序时实现上述基于参数化配置的数据备份方法。
基于同一发明构思,本发明实施例中还提供了一种计算机可读存储介质,用以解决现有技术在对数据表定时备份数据的时候,要对数据表的各个分区的数据进行全量备份,导致备份数据存在冗余且备份过程需要占用较长时间的技术问题,该计算机可读存储介质存储有执行上述基于参数化配置的数据备份方法的计算机程序。
本发明实施例中提供了一种基于参数化配置的数据备份方法、装置、计算机设备及计算机可读存储介质,通过配置对待备份数据表执行数据备份操作的各种参数信息(待备份数据表的表名、数据备份日期、数据备份间隔周期和数据备份策略),能够根据配置的待备份数据表的表名,查询出待备份数据表的各个数据表分区;进而根据配置的数据备份策略,从待备份数据表的各个数据表分区中筛选出待备份的数据表分区(例如,发生数据变化的分区),对筛选出的的数据表分区执行数据备份操作,与现有技术中对数据表的各个分区的数据进行全量备份的技术方案相比,本发明实施例中根据参数配置信息对待备份数据表的各个数据表分区进行筛选后备份,能够实现针对数据变化情况自动调整待备份数据的目的,满足不同用户的数据备份需求,减少备份数据的数据量,可以大大缩短数据备份过程的用时,降低备份数据的冗余度。
进一步地,本发明实施例根据本次对待备份数据表执行数据备份操作的数据备份日期和数据备份间隔周期,生成下一次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略,能够实现自动更新对待备份数据表执行数据备份操作的参数配置信息,减少用户对数据备份参数信息的配置操作。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于参数化配置的数据备份方法,其特征在于,包括:
获取对待备份数据表执行数据备份操作的参数配置信息,其中,所述参数配置信息中包含待备份数据表的表名、数据备份日期、数据备份间隔周期和数据备份策略,所述数据备份策略用于确定待备份数据表中待备份的数据;所述数据备份策略包括:第一备份策略、第二备份策略、第三备份策略、第四备份策略和第五备份策略;
其中,所述第一备份策略用于对待备份数据表的全量数据执行数据备份操作;所述第二备份策略用于对待备份数据表的当前数据表分区和当前数据表分区的上一个数据表分区执行数据备份操作;所述第三备份策略用于对待备份数据表的当前数据表分区执行数据备份操作;所述第四备份策略用于对待备份数据表的各个数据表分区中所有发生数据变化的数据表分区执行数据备份操作;所述第五备份策略用于对待备份数据表的各个数据表分区中满足预设数据筛选条件的数据执行数据备份操作;
根据所述参数配置信息中包含的表名,查询出待备份数据表的各个数据表分区;
根据所述参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作;根据数据备份策略,筛选出待备份的各个数据表分区中发生数据变化的数据表分区,对发生数据变化的数据表分区执行相应的数据备份操作;
根据本次对待备份数据表执行数据备份操作的数据备份日期和数据备份间隔周期,生成下一次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略。
2.如权利要求1所述的方法,其特征在于,当所述数据备份策略为对待备份数据表的全量数据执行数据备份操作的第一备份策略的情况下,根据所述参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作,包括:
对待备份数据表的所有数据表分区执行数据备份操作。
3.如权利要求1所述的方法,其特征在于,当所述数据备份策略为对待备份数据表的当前数据表分区和当前数据表分区的上一个数据表分区执行数据备份操作的第二备份策略的情况下,根据所述参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作,包括:
从待备份数据表的各个数据表分区中,筛选出当前发生数据变化的数据表分区,作为当前数据表分区;
对当前数据表分区和当前数据表分区的上一个数据表分区,执行数据备份操作。
4.如权利要求1所述的方法,其特征在于,当所述数据备份策略为对待备份数据表的当前数据表分区执行数据备份操作的第三备份策略的情况下,根据所述参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作,包括:
从待备份数据表的各个数据表分区中,筛选出当前发生数据变化的数据表分区;
对当前发生数据变化的数据表分区,执行数据备份操作。
5.如权利要求1所述的方法,其特征在于,当所述数据备份策略为对待备份数据表的各个数据表分区中所有发生数据变化的数据表分区执行数据备份操作的第四备份策略的情况下,根据所述参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作,包括:
从待备份数据表的各个数据表分区中,筛选出所有发生数据变化的数据表分区;
对所有发生数据变化的数据表分区,执行数据备份操作。
6.如权利要求1所述的方法,其特征在于,当所述数据备份策略为对待备份数据表的各个数据表分区中满足预设数据筛选条件的数据执行数据备份操作的第五备份策略的情况下,根据所述参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作,包括:
从待备份数据表的各个数据表分区,筛选出待备份的数据表分区;
从待备份的数据表分区中,筛选出满足预设数据筛选条件的数据,执行数据备份操作。
7.一种基于参数化配置的数据备份装置,其特征在于,包括:
参数配置信息获取模块,用于获取对待备份数据表执行数据备份操作的参数配置信息,其中,所述参数配置信息中包含待备份数据表的表名、数据备份日期、数据备份间隔周期和数据备份策略,所述数据备份策略用于确定待备份数据表中待备份的数据;所述数据备份策略包括:第一备份策略、第二备份策略、第三备份策略、第四备份策略和第五备份策略;
其中,所述第一备份策略用于对待备份数据表的全量数据执行数据备份操作;所述第二备份策略用于对待备份数据表的当前数据表分区和当前数据表分区的上一个数据表分区执行数据备份操作;所述第三备份策略用于对待备份数据表的当前数据表分区执行数据备份操作;所述第四备份策略用于对待备份数据表的各个数据表分区中所有发生数据变化的数据表分区执行数据备份操作;所述第五备份策略用于对待备份数据表的各个数据表分区中满足预设数据筛选条件的数据执行数据备份操作;
数据表分区查询模块,用于根据所述参数配置信息中包含的表名,查询出待备份数据表的各个数据表分区;
数据备份模块,用于根据所述参数配置信息中包含的数据备份策略,从待备份数据表的各个数据表分区筛选出待备份的数据表分区,对待备份的数据表分区执行数据备份操作;根据数据备份策略,筛选出待备份的各个数据表分区中发生数据变化的数据表分区,对发生数据变化的数据表分区执行相应的数据备份操作;
参数配置信息更新模块,用于根据本次对待备份数据表执行数据备份操作的数据备份日期和数据备份间隔周期,生成下一次对待备份数据表执行数据备份操作的数据备份日期和数据备份策略。
8.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6任一项所述基于参数化配置的数据备份方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储程序指令,所述程序指令可被计算机执行以实现权利要求1至6任一项所述基于参数化配置的数据备份方法。
CN202011056108.4A 2020-09-29 2020-09-29 基于参数化配置的数据备份方法及装置 Active CN112131051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011056108.4A CN112131051B (zh) 2020-09-29 2020-09-29 基于参数化配置的数据备份方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011056108.4A CN112131051B (zh) 2020-09-29 2020-09-29 基于参数化配置的数据备份方法及装置

Publications (2)

Publication Number Publication Date
CN112131051A CN112131051A (zh) 2020-12-25
CN112131051B true CN112131051B (zh) 2023-08-22

Family

ID=73844912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011056108.4A Active CN112131051B (zh) 2020-09-29 2020-09-29 基于参数化配置的数据备份方法及装置

Country Status (1)

Country Link
CN (1) CN112131051B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484166B (zh) * 2022-08-30 2024-04-19 海尔优家智能科技(北京)有限公司 用于备份配置信息的方法及装置、服务器、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445738A (zh) * 2016-09-13 2017-02-22 郑州云海信息技术有限公司 一种数据库备份方法及装置
CN108170559A (zh) * 2017-12-22 2018-06-15 维沃移动通信有限公司 一种数据备份方法及终端
CN108491294A (zh) * 2018-03-15 2018-09-04 中国银行股份有限公司 一种数据库备份方法、装置及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080046483A1 (en) * 2006-08-16 2008-02-21 Lehr Douglas L Method and system for selecting the timing of data backups based on dynamic factors
CN108733508B (zh) * 2017-04-17 2022-03-11 伊姆西Ip控股有限责任公司 用于控制数据备份的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445738A (zh) * 2016-09-13 2017-02-22 郑州云海信息技术有限公司 一种数据库备份方法及装置
CN108170559A (zh) * 2017-12-22 2018-06-15 维沃移动通信有限公司 一种数据备份方法及终端
CN108491294A (zh) * 2018-03-15 2018-09-04 中国银行股份有限公司 一种数据库备份方法、装置及系统

Also Published As

Publication number Publication date
CN112131051A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN106445738B (zh) 一种数据库备份方法及装置
CN102141963A (zh) 一种数据分析方法和设备
CN110442480B (zh) 一种镜像数据清理方法、装置及系统
CN108205571B (zh) 键值数据表的连接方法及装置
CN106228306A (zh) 基于建模配置的业务流程展示方法和业务流程展示装置
CN103581231A (zh) Ugc主备数据同步方法及其系统
CN103744730B (zh) 一种任务调度方法和装置
CN104765651B (zh) 一种数据处理方法和装置
CN110413272B (zh) 前端项目构建方法、装置、存储介质及设备
CN109885642B (zh) 面向全文检索的分级存储方法及装置
CN109298929B (zh) 定时任务执行时间推荐方法、装置、设备和存储介质
CN112131051B (zh) 基于参数化配置的数据备份方法及装置
CN111125171A (zh) 一种监测数据存取方法、装置、设备及可读存储介质
CN111931009A (zh) 批量作业的作业最大路径确定方法及装置
EP3646186B1 (en) Global occupancy aggregator for global garbage collection scheduling
CN106648839B (zh) 数据处理的方法和装置
CN107315652B (zh) 一种数据备份方法及云hdfs系统
CN104991836A (zh) 恢复数据库的方法、装置及数据库服务器
CN113961228A (zh) 一种变更提醒方法、装置、设备及存储介质
CN112948504A (zh) 数据采集方法、装置、计算机设备和存储介质
CN110362387B (zh) 分布式任务的处理方法、装置、系统和存储介质
CN111046003B (zh) 一种土壤侵蚀因子数据的更新方法、装置和电子设备
CN115687333A (zh) 一种v2x大数据生命周期管理方法及装置
CN114493378A (zh) 一种工业设备的指标获取方法、装置及计算机设备
CN103207887A (zh) 一种高效历史趋势数据存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant