CN114168384A - 一种分区表的备份方法、装置、电子设备及存储介质 - Google Patents
一种分区表的备份方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114168384A CN114168384A CN202111460105.1A CN202111460105A CN114168384A CN 114168384 A CN114168384 A CN 114168384A CN 202111460105 A CN202111460105 A CN 202111460105A CN 114168384 A CN114168384 A CN 114168384A
- Authority
- CN
- China
- Prior art keywords
- partition
- backup
- replacement
- data
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Abstract
本发明公开了一种分区表的备份方法、装置、电子设备及存储介质。涉及数据库技术领域。该方法包括:读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表;根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定分区对应的备份表;将分区的数据置换到备份表,并删除分区。通过本发明的技术方案,能够简单、高效、精准的对分区表进行备份。
Description
技术领域
本发明实施例涉及数据库技术领域,尤其涉及一种分区表的备份方法、装置、电子设备及存储介质。
背景技术
为了满足数据库大表的数据管理需要,将大表数据化大为小,分成更小的、更好管理的段,这些段就叫做分区,对应的表就称为分区表。分区之间在物理上相互独立存放,但逻辑上共用表的相关属性。每个分区可以单独管理,可以不依赖其他分区而单独发挥作用,具有便于管理和使用等优点。
数据库分区表大幅提升了数据库大表的管理、访问效率,但使用分区表也会存在一些问题,比如随着数据增长,需要将超过一定期限的历史数据进行备份、删除操作,目前采用人工操作的方式执行备份、删除操作,可能存在误操作,并且效率低下,备份不规范,甚至会出现备份失败。
发明内容
本发明实施例提供一种分区表的备份方法、装置、电子设备及存储介质,以实现简单、高效、精准的对分区表进行备份。
第一方面,本发明实施例提供了分区表的备份方法,包括:
读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表;
根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定分区对应的备份表;
将分区的数据置换到备份表,并删除分区。
第二方面,本发明实施例还提供了分区表的备份装置,该装置包括:
第一确认模块,用于读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表;
第二确认模块,用于根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定分区对应的备份表;
分区置换模块,用于将分区的数据置换到备份表,并删除分区。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例中任一所述的分区表的备份方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述的分区表的备份方法。
第五方面,本发明实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如本发明实施例中任一所述的分区表的备份方法。
本发明通过读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表;根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定分区对应的备份表;将分区的数据置换到备份表,并删除分区,可见,本方案可以根据分区维护配置表自动对分区表执行分区数据的备份操作,解决了采用人工操作的方式执行备份操作,存在的误操作、备份不规范、备份失败及效率低下等问题,能够简单、高效、精准的对分区表进行备份。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一中的一种分区表的备份方法的流程示意图;
图2是本发明实施例二中的一种分区表的备份方法的流程示意图;
图3是本发明实施例二中的一种分区维护方法的流程示意图;
图4是本发明实施例三中的一种分区表的备份装置的结构示意图;
图5是本发明实施例四中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例一
图1为本发明实施例一提供的一种分区表的备份方法的流程示意图,本实施例可适用于数据表的备份、删除等的情况,该方法可以由本发明实施例中的分区表的备份装置来执行,该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中,该装置可以集成在电子设备中,电子设备比如可以是计算机、终端等具有数据处理能力并具备显示功能的设备。以下实施例将以该装置集成在电子设备中为例进行说明,如图1所示,该方法具体包括如下步骤:
S101,读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表。
其中,分区维护配置表是存储有需要自动维护的分区表的配置信息的数据表,具体的,包括用户名、表名、范围分区周期、保存分区数、分区维护方式、是否在用、最近一次成功时间和结果返回信息等字段,第一分区表是根据分区维护配置表的配置信息确定的需要进行自动维护的数据表,本发明实施例对此不进行限定。
具体的,分区维护配置表的用户名和表名的含义为指定哪个用户下哪张表需要进行分区自动维护操作;范围分区周期是指定范围分区的周期类型,包括按天分区(D)、按月分区(M)、按季分区(Q)和按年分区(Y);保存分区数是按需设置的需要保存的分区数量,自动维护实现方法将对超出配置分区数的分区进行备份清理操作;分区维护方式包括直接删除(01)和备份删除(02)两种方式,直接删除是对超过配置保存期限的分区直接予以删除,备份删除则是对超过配置保存期限的分区,先备份到备份表,而后再删除;是否在用包括使用中(1)和不再使用(0),如果对应的表不再需要进行自动分区维护操作,无需删除记录,只要将其是否在用字段更新为0,就不会再进行自动分区维护操作;最近一次成功时间和结果返回信息无需进行配置,会由程序自动更新写入,用于记录最近一次分区自动维护操作的事项信息,便于操作人员实时掌握分区维护操作情况。分区维护配置表的表结构如表一所示。
表一
示例性的,表二为本发明实施例提供的一种分区维护配置表。
表二
从表二中可以看出,分区维护配置表中有两条记录,第一条记录表示,DAMINTF用户的T_EXEC_LOG表,范围分区周期为按月分区,保留历史分区数3个,即保留最近3个月的分区,超过保留期限的分区维护方式为“01”,即对于超过3个月的分区直接删除,目前这条配置信息有效;第二条记录表示,DAMINTF用户的T_ERR_LOG表,范围分区周期为按年分区,保留历史分区数1个,即保留最近1年的分区,超过保留期限的分区维护方式“02”,即对于超过1年的分区先备份到备份表,而后再删除,目前这条配置信息有效。
可选的,在读取分区维护配置表之前,还包括:确定是否接收到配置于作业调度平台上的预设作业模块发送的调用请求,若是,则触发执行读取分区维护配置表的操作。
具体的,本发明实施例的分区表的备份方法可以为一个程序代码,在作业调度平台上配置一个作业每天定时调用此程序,示例性的,每天在预设的时间到来时,作业调度平台上配置的预设作业模块将会发送调用请求,若检测到该调用请求则执行读取分区维护配置表的操作即执行本发明实施例的分区表的备份方法,即可实现分区表的自动备份和维护操作,操作简单便捷,能极大程度的节约人力资源,提高分区表的维护效率。
S102,根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定分区对应的备份表。
其中,分区维护配置表中包含有第一分区表的保存分区数和范围分区周期,根据保存分区数和范围分区周期即可确定第一分区表的预设保留期限,从而确定所保存的数据超过预设保留期限的分区,并对超出预设保留期限的分区进行备份清理操作,具体的,需要备份清理的分区即为需要备份的分区,根据该分区即可得到分区对应的备份表。
示例性的,第一分区表的保存分区数为5,范围分区周期为按天分区,那么,预设保留期限即为5天,当第一分区表的当前分区数为7时,需要对超过预期保留期限的数据进行备份,即可确定最早的两个分区为超过预设保留期限的分区,并确定这两个分区分别对应的备份表,针对这两个分区分别执行后续操作。
S103,将超过预设保留期限的分区的数据置换到备份表,并删除分区。
其中,将分区的数据置换到备份表并删除分区是指将超出预设保留期限的分区的数据置换到备份表,并将第一分区表的该分区删除。
示例性的,第一分区表的保存分区数为5,当第一分区表的分区数为7时,即可确定最早的两个分区为超过预设保留期限的分区,那么,将这两个分区的数据置换到备份表进行保存,并从第一分区表中将这两个分区删除。
可选的,分区表的备份方法还包括:记录各个操作的操作内容和操作结果;将操作内容和操作结果保存在分区维护配置表中。
其中,操作是指针对分区表进行的一系列处理动作,具体的,包括分区数据备份、分区删除等;操作结果是一系列处理动作的反馈信息,具体的,包括分区数据备份成功、分区数据备份成功的时间、分区数据备份失败、分区数据备份失败的时间、分区删除成功、分区删除成功的时间、分区删除失败、分区删除失败的时间等,本发明实施例对此不进行限定。
示例性的,若执行的操作为分区1的数据备份操作,且于XXXX年XX月XX日16点24分36秒成功,则操作内容为对分区1的数据进行备份,操作结果为于XXXX年XX月XX日16点24分36秒备份成功,并将操作内容和操作结果记录在分区维护配置表的最近一次成功时间字段和结果返回信息字段中,在需要时通过查看这两个字段信息获取分区自动维护的情况,便于操作人员实时监控查看自动分区维护作业的运行情况。
本发明实施例的技术方案,通过读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表;根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定分区对应的备份表;将分区的数据置换到备份表,并删除分区,解决了采用人工操作的方式执行备份操作,存在的误操作、备份不规范、备份失败及效率低下等问题,能够简单、高效、精准的对分区表进行备份。
实施例二
图2为本发明实施例二提供的一种分区表的备份方法的流程示意图,本实施例可适用于数据表的备份、删除等情况,该方法可以由本发明实施例中的分区表的备份装置来执行,该装置可采用软件和/或硬件的方式实现,如图2所示,该方法具体可以包括如下步骤:
S201,读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表。
本实施例中,分区维护配置表是存储有需要自动维护的分区表的配置信息的数据表,包括用户名、表名、范围分区周期、保存分区数、分区维护方式、是否在用、最近一次成功时间和结果返回信息等字段,分区维护配置表的表结构如表一所示,具体的,分区维护配置表的用户名和表名的含义为指定哪个用户下哪张表需要进行分区自动维护操作;范围分区周期是指定范围分区的周期类型,包括按天分区(D)、按月分区(M)、按季分区(Q)和按年分区(Y);保存分区数是按需设置的需要保存的分区数量,自动维护实现方法将对超出配置分区数的分区进行备份清理操作;分区维护方式包括直接删除(01)和备份删除(02)两种方式,直接删除是对超过配置保存期限的分区直接予以删除,备份删除则是对超过配置保存期限的分区,先备份到备份表,而后再删除;是否在用包括使用中(1)和不再使用(0),如果对应的表不再需要进行自动分区维护操作,无需删除记录,只要将其是否在用字段更新为0,就不会再进行自动分区维护操作;最近一次成功时间和结果返回信息无需进行配置,会由程序自动更新写入,用于记录最近一次分区自动维护操作的事项信息,便于操作人员实时掌握分区维护操作情况;第一分区表是根据分区维护配置表的配置信息确定的需要进行自动维护的数据表,本发明实施例对此不进行限定。
可选的,在根据分区维护配置表确定需要进行自动维护的第一分区表之后,还包括:获取第一分区表的各分区分别对应的存储周期;其中,存储周期表征对应分区用于存储的数据的产生时间段;根据存储周期确定第一分区表当前的分区数量是否满足预设的数据量存储需求;若不满足,则为第一分区表创建至少一个新的分区,以满足数据量存储需求。
其中,获取第一分区表的各分区分别对应的存储周期为获取分区表的各分区分别对应的存储周期中的最后一个存储周期,根据最后一个存储周期判断其是否满足未来一段时间的数据量存储需求,如果不满足需求则自动添加新的分区直至满足需求。
具体的,表三为本发明实施例提供的一种满足预设的数据量存储需求的分区需求表。
表三
分区周期 | 数据量存储需求 |
按天分区 | 满足未来一周需求 |
按月分区 | 满足未来三个月需求 |
按季分区 | 满足未来半年需求 |
按年分区 | 满足未来一年需求 |
示例性的,可按数据量存储需求对应创建新的分区,其中,数据存储需求分为总数据量存储需求和未来数据量存储需求两种,假设第一分区表的分区周期为按天分区,且当前的分区数量为4,第一个分区的存储周期为本月第1天,第二个分区的存储周期为本月第2天,第三个分区的存储周期为本月第3天,第四个分区的存储周期为本月第4天,那么,最后一个存储周期为本月第4天。若数据量存储需求为满足本月第1-8天的总数据量存储需求,则还需要为第一分区表创建4个新的分区,用于存储本月第5-8天的数据,以满足数据量存储需求;若数据量存储需求为满足未来8天的数据量存储需求,则还需要获取当前已存储数据的分区的数量,若当前已存储数据的分区的数量为2,则需要为第一分区表创建6个新的分区,以满足数据量存储需求。
S202,根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定该分区对应的备份表。
本实施例中,分区维护配置表中包含有第一分区表的,从而确定所保存的数据超过预设保留期限的分区,并需要对超出预设保留期限的分区进行备份清理操作,具体的,需要备份清理的分区即为需要备份的分区,根据该分区即可得到分区对应的备份表。
可选的,在确定分区对应的置换表和备份表之前,还包括:判断是否存在分区对应的置换表和备份表;若不存在置换表,则创建包含的字段与第一分区表中的字段一致的置换表;若不存在备份表,则创建包含的字段与第一分区表中的字段一致的备份表。
其中,置换表是一个中间转换数据表,用于将第一分区表中超出预设保留期限的分区数据传递给备份表进行备份保存,置换表中包含的字段与第一分区表中包含的字段相同。
具体的,当第一分区表中存在超出预设保留期限的分区,首先会检测数据库中是否存在该分区对应的备份表和置换表,若不存在,即需创建该分区对应的备份表和置换表。
示例性的,第一分区表中存在超出预设保留期限的分区,且数据库中没有该分区对应的备份表和置换表,那么,将需要创建包含的字段与第一分区表中的字段一致的置换表和备份表。置换表/备份表的创建过程包括:获取第一分区表的字段数,创建一个字段数相等的置换表/备份表;获取第一分区表的第一个字段,对应填写置换表/备份表的第一个字段;获取第一分区表的第二个字段,对应填写置换表/备份表的第二个字段;……;获取第一分区表的最后一个字段,对应填写置换表/备份表的最后一个字段。
在一个具体的示例中,第一分区表中存在超出预设保留期限的分区,数据库中没有该分区对应的备份表和置换表,且第一分区表的字段为名称、类型和分区加载地址,那么,创建置换表时,首先会获取第一分区表的字段数“3”,创建一个字段数相等的置换表,即创建一个字段数为3的置换表;其次,获取第一分区表的第一个字段“名称”,并在置换表的第一个字段上填写名称;然后,获取第一分区表的第二个字段“类型”,并在置换表的第二个字段上填写类型;最后获取到第一分区表的第三个字段“分区加载地址”,并在置换表的第三个字段上填写分区加载地址,置换表即可创建完成。创建备份表时,也会先获取第一分区表的字段数“3”,创建一个字段数相等的备份表;其次,获取第一分区表的第一个字段“名称”,并在备份表的第一个字段上填写名称;然后,获取第一分区表的第二个字段“类型”,并在备份表的第二个字段上填写类型;最后获取到第一分区表的第三个字段“分区加载地址”,并在备份表的第三个字段上填写分区加载地址,即可完成备份表的创建。
可选的,若存在置换表,则确定置换表中的字段与第一分区表中的字段是否一致,若不一致,则修改置换表中的字段,以使置换表中的字段与第一分区表中的字段一致;若存在备份表,则确定备份表中的字段与第一分区表中的字段是否一致,若不一致,则修改备份表中的字段,以使备份表中的字段与第一分区表中的字段一致。
具体的,当第一分区表中存在超出预设保留期限的分区,检测到数据库中存在该分区对应的备份表和置换表,则判断该置换表和备份表的字段与第一分区表的字段是否一致,若一致,直接使用即可,若不一致,则需对备份表和置换表做一定的调整和修改,将备份表和置换表中的字段与第一分区表中的字段调整至一致,其中,字段调整方法包括增加字段、删减字段和修改字段等,本发明实施例对此不进行限定。
示例性的,置换表/备份表的创建过程包括:获取第一分区表、置换表和备份表的字段数,根据第一分区表的字段数对应添加或者删减备份表和置换表的字段数;获取第一分区表的第一个字段,判断置换表/备份表的第一个字段与第一分区表的第一个字段是否一致,若不一致,根据第一分区表第一个字段对应修改置换表/备份表的第一个字段,若一致,则判断置换表/备份表的第二个字段与第一分区表的第二个字段是否一致……直至将置换表/备份表的最后一个字段与第一分区表的最后一个字段调整一致。
在一个具体的示例中,第一分区表的字段为名称、类型和分区加载地址,备份表的字段为名称和分区加载地址,置换表的字段为名称和分区加载地址。修改置换表时,首先获取第一分区表的字段数“3”和置换表的字段数“2”,在置换表中再创建一个字段;其次,判断置换表的第一个字段“名称”与第一分区表的第一个字段“名称”是否一致,两者一致,紧接着判断置换表的第二个字段“分区加载地址”与第一分区表的第二个字段“类型”是否一致,两者不一致,将置换表的第二个字段“分区加载地址”修改为“类型”,然后判断置换表的第三个字段与第一分区表的第三个字段,将置换表的第三个字段修改为“分区加载地址”,即可完成置换表的修改。修改备份表时,首先获取第一分区表的字段数“3”和备份表的字段数“2”,在备份表中再创建一个字段;其次,判断备份表的第一个字段“名称”与第一分区表的第一个字段“名称”是否一致,两者一致,紧接着判断备份表的第二个字段“分区加载地址”与第一分区表的第二个字段“类型”是否一致,两者不一致,将备份表的第二个字段“分区加载地址”修改为“类型”,然后继续判断备份表的第三个字段与第一分区表的第三个字段,将备份表的第三个字段修改为“分区加载地址”,即可完成备份表的修改。
可选的,也可以不预先将置换表/备份表的字段数与第一分区表的字段数调整至一致,而是逐次比较和修改第一分区表和置换表/备份表的字段,当置换表/备份表中现有的字段修改完成,但第一分区表的字段未完全填入置换表/备份表时,创建新的字段,当第一分区表字段完全填入置换表/备份表后,置换表/备份表还存在未修改的字段,则将多出的字段删除。
可选的,在确定分区对应的备份表之前,还包括:根据分区维护配置表确定分区的分区维护方式是直接删除方式或是备份删除方式;若是备份删除方式,则触发执行确定分区对应的备份表的操作。若是直接删除方式,则删除分区。
其中,分区维护配置表包含分区的分区维护方式,采取对应的分区维护方式对超过预设保留期限的分区进行维护;具体的,分区维护方式包括直接删除方式和备份删除方式,示例性的,如表二所示,分区维护表中的分区维护方式有“01”和“02”,其中,第一条记录的分区维护方式为“01”,“01”表示直接删除,即对于超过预设保留期限的分区直接删除,第二条记录的分区维护方式为“02”,“02”表示备份删除,即对于超过预设保留期限的分区先备份到备份表,而后再删除。
S203、将分区的数据置换到置换表,将置换表的数据置换到备份表,并删除分区;其中,置换表为非分区表,备份表为第二分区表。
具体的,分区的数据不能直接备份到同为分区表的备份表,需要通过非分区表的置换表进行转换。
示例性的,第一分区表存在名称、类型和分区加载地址等字段对应的数据信息,存在超出预设范围的分区时,首先将该分区的各字段对应的数据置换到置换表对应的字段下,然后由置换表将数据置换到备份表对应的字段下,置换完成后,删除第一分区表中关于这些分区的数据信息。
可选的,将分区的数据置换到置换表,将置换表的数据置换到备份表,包括:将由分区指向第一分区表的指针,修改为指向置换表,以将分区的数据置换到置换表;将由分区指向置换表的指针,修改为指向备份表,以将置换表的数据置换到备份表。
其中,指针用于指明数据的存储位置,便于后期寻找和使用相关的数据。
具体的,在将分区的数据置换到置换表,将置换表的数据置换到备份表时,首先将指向第一分区表的指针修改为指向置换表,此时,该分区的数据将置换到置换表,其次,将指向置换表的指针修改为指向备份表,此时,置换表的数据将置换到备份表,通过对指针的指向进行修改,即可将第一分区表中超过预设范围的分区置换至备份表,整个过程通过分区的指针变换完成,无需变化数据的实际物理存储位置,因此整个过程耗时非常短,大幅提升数据的备份效率。
可选的,在将分区的数据置换到置换表之前,还包括:将置换表的索引和备份表的索引分别与第一分区表的索引进行比较,若置换表的索引与第一分区表的索引不一致,则调整置换表的索引,以使置换表的索引与第一分区表的索引一致;若备份表的索引与第一分区表的索引不一致,则调整备份表的索引,以使备份表的索引与第一分区表的索引一致。
其中,索引是对数据库表中一列或多列的值进行排序的一种结构,索引的目的是加快检索数据库表中数据,能协助信息搜索者尽快的找到数据库表中符合限制条件的记录数据。
具体的,每一个表都有其对应的索引,在将分区的数据置换到置换表之前,需要将置换表的索引和备份表的索引分别与第一分区表的索引进行比较,看置换表的索引和备份表的索引与第一分区表的索引是否一致,若不一致,则按照第一分区表的索引对置换表的索引和备份表的索引进行调整,使其与第一分区表的索引一致。例如,第一分区表的索引中A对应1,B对应2,备份表的索引中A对应3,B对应4,置换表的索引中A对应5,B对应6,那么,将会调整备份表的索引和置换表的索引,使其均为A对应1,B对应2,保证索引信息的自动同步,以便在将第一分区表中的数据置换到备份表之后,搜索者还能搜索到该数据,保证搜索者对特定信息的搜索不受数据置换的影响。
可选的,分区表的备份方法还包括:定时判断第一分区表、备份表和置换表的索引是否失效;基于判断结果针对索引失效的第一分区表、备份表和置换表中的至少一个重建索引。
其中,定时判断第一分区表、备份表和置换表的索引是否失效是指每隔一段时间便检测一次第一分区表、备份表和置换表的索引,具体的,间隔时间可以是5分钟、8分钟、10分钟等,本发明实施例对此不进行限定。
具体的,定时检测第一分区表、备份表和置换表的索引情况,可以及时发现第一分区表、备份表和置换表的索引存在的失效,重建第一分区表、备份表和置换表的索引,保证索引信息的同步,使分区表的备份和维护工作正常进行。
可选的,图3是本发明实施例二提供的一种分区维护方法的流程示意图,从图3可以看出,本方法具体包括如下几个步骤:
S301、循环读取配置信息。
循环读取配置信息是指重复的读取分区维护配置表中的配置信息,具体的,可以是按照预设时间定时读取配置信息,也可以是重复执行配置信息读取操作,本发明实施例对此不进行限定。
示例性的,若预设时间为5分钟,按照预设时间定时读取配置信息即为每5分钟读取一次分区维护配置表中的配置信息。重复执行配置信息读取操作是指执行完上一个配置信息读取操作之后,接着执行下一个配置信息读取操作,不断地重复执行读取操作。
S302、是否存在分区表。
在读取分区维护配置表的信息后,对获取的信息进行判断,检测其是否存在需要进行自动维护的第一分区表,若存在,则执行S303,若不存在,则执行S301。
S303、获取最大分区。
确定好需要进行自动维护的第一分区表后,读取该分区表的最大分区,最大分区是指在确定第一分区表中各分区分别对应的存储周期后,最后一个存储周期所对应的分区。
S304、最大分区是否满足需求。
在获取第一分区表的最大分区后,根据最大分区的存储周期判断是否满足预设数据量存储需求,若不满足,则执行S305,若满足,则执行S306。
S305、循环添加新分区直到满足预设数据量存储需求。
示例性的,若第一分区表的最大分区的存储周期为存储本月第5天的数据,假设预设数据量存储需求为需要存储8天的数据,那么,最大分区将不满足需求,此时将需要循环添加新的分区,直到分区数达到8。
然后,针对第一分区表的各分区,执行如下S306-S314的操作.
S306、判断分区维护方式。
分区维护配置表中包含有分区对应的分区维护方式,根据分区维护方式即可对超过预设范围的数据进行维护,具体的,分区维护方式包括直接删除和备份删除两种,若分区维护方式为直接删除,则执行S307,若分区维护方式为备份删除,将执行S308。
S307、判断数据是否超过保留期限,若超过,删除当前分区。然后执行S313。
S308、判断是否存在置换表和备份表。
具体的,检测数据库中是否存在当前分区对应的备份表和置换表,若存在对应的置换表和备份表,则执行S309,若不存在对应的备份表和置换表,将执行S310。
S309、判断置换表和备份表与第一分区表的字段是否一致,若不一致,则增减并调整字段和第一分区表一致。
具体的,若存在对应的置换表和备份表,则判断该置换表和备份表的字段与第一分区表的字段是否一致,若一致,直接使用即可,若不一致,则通过增加字段、删减字段和修改字段的方式对备份表和置换表做一定的调整和修改,将备份表和置换表中的字段与第一分区表中的字段调整至一致,接着执行S311。
S310、创建置换表和备份表。
具体的,置换表和备份表的创建过程包括:获取第一分区表、置换表和备份表的字段数,根据第一分区表的字段数对应添加或者删减备份表和置换表的字段数;获取第一分区表的第一个字段,判断置换表和备份表的第一个字段与第一分区表的第一个字段是否一致,若不一致,根据第一分区表第一个字段对应修改置换表和备份表的第一个字段,若一致,则判断置换表和备份表的第二个字段与第一分区表的第二个字段是否一致……直至将置换表和备份表的最后一个字段与第一分区表的最后一个字段调整一致。
S311、调整置换表和备份表的索引与分区表的索引一致。
具体的,调整过程包括:将置换表的索引和备份表的索引与第一分区表的索引进行比较,若置换表的索引和备份表的索引与第一分区表的索引不一致,则调整置换表的索引和备份表的索引,以使置换表的索引和备份表的索引与第一分区表的索引一致,可以加快检索数据库表中数据,能协助信息搜索者尽快的找到数据库表中符合限制条件的记录数据。
S312、分区表超保留期限数据置换到备份表,并删除分区。
具体的,将当前分区的数据进行备份,但分区的数据不能直接备份到同为分区表的备份表,需要通过非分区表的置换表进行转换,因此,备份方法是先将分区的数据置换到置换表,然后再将置换表的数据置换到备份表。在将当前分区的数据置换到备份表之后,将当前分区进行删除。
S313、记录维护信息。
具体的,记录维护信息是指记录针对第一分区表进行的分区数据备份、分区删除等一系列处理动作的操作结果,包括分区数据备份成功、分区数据备份成功的时间、分区数据备份失败、分区数据备份失败的时间、分区删除成功、分区删除成功的时间、分区删除失败、分区删除失败的时间等。将操作内容和操作结果记录在分区维护配置表中,通过查看该表即可获取分区自动维护的情况,便于操作人员实时监控查看自动分区维护作业的运行情况。
S314、重建失效索引。
具体的,重建失效索引是指当检测到第一分区表、备份表和置换表的索引失效时,对第一分区表、备份表和置换表失效的索引进行重建,以保证索引信息的同步,使分区表的备份和维护工作正常进行。
本发明实施例的技术方案,通过读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表;根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定分区对应的备份表;将分区的数据置换到置换表,将置换表的数据置换到备份表,并删除分区;其中,置换表为非分区表,备份表为第二分区表,解决了采用人工操作的方式执行备份操作,存在的误操作、备份不规范、备份失败及效率低下等问题,能够简单、高效、精准的对分区表进行备份。
实施例三
本发明实施例三所提供的分区表的备份装置可执行本发明上述实施例中任意实施例所提供的分区表的备份方法,具备执行方法相应的功能模块和有益效果。
图4为实施例三提供的一种分区表的备份装置的结构示意图,如图4所示,该装置包括:第一确认模块401、第二确认模块402和分区置换模块403。
第一确认模块401,用于读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表。
第二确认模块402,用于根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定分区对应的备份表。
分区置换模块403,用于将分区的数据置换到备份表,并删除分区。
可选的,分区置换模块403具体用于:将分区的数据置换到置换表,将置换表的数据置换到备份表;其中,置换表为非分区表,备份表为第二分区表。
可选的,该装置还包括表格创建模块,用于:判断是否存在分区对应的置换表和备份表;若不存在置换表,则创建包含的字段与第一分区表中的字段一致的置换表;若不存在备份表,则创建包含的字段与第一分区表中的字段一致的备份表。
可选的,表格创建模块还用于:若存在置换表,则确定置换表中的字段与第一分区表中的字段是否一致,若不一致,则修改置换表中的字段,以使置换表中的字段与第一分区表中的字段一致;若存在备份表,则确定备份表中的字段与第一分区表中的字段是否一致,若不一致,则修改备份表中的字段,以使备份表中的字段与第一分区表中的字段一致。
可选的,该装置还包括索引调整模块,用于将置换表的索引和备份表的索引分别与第一分区表的索引进行比较,若置换表的索引与第一分区表的索引不一致,则调整置换表的索引,以使置换表的索引与第一分区表的索引一致;若备份表的索引与第一分区表的索引不一致,则调整备份表的索引,以使备份表的索引与第一分区表的索引一致。
可选的,分区置换模块403具体用于:将由分区指向第一分区表的指针,修改为指向置换表,以将分区的数据置换到置换表;将由分区指向置换表的指针,修改为指向备份表,以将置换表的数据置换到备份表。
可选的,该装置还包括维护方式确认模块,用于:根据分区维护配置表确定分区的分区维护方式是直接删除方式或是备份删除方式;若是备份删除方式,则触发执行确定分区对应的备份表的操作。
可选的,维护方式确认模块还用于:若是直接删除方式,则删除分区。
可选的,该装置还包括分区创建模块,用于在根据分区维护配置表确定需要进行自动维护的第一分区表之后,获取第一分区表的各分区分别对应的存储周期;其中,存储周期表征对应分区用于存储的数据的产生时间段;根据存储周期确定第一分区表当前的分区数量是否满足预设的数据量存储需求;若不满足,则为第一分区表创建至少一个新的分区,以满足数据量存储需求。
可选的,该装置还包括信息记录模块,用于:记录各个操作的操作内容和操作结果;将操作内容和操作结果保存在分区维护配置表中。
可选的,该装置还包括定时检测模块,用于:定时判断第一分区表、备份表和置换表的索引是否失效;基于判断结果针对索引失效的第一分区表、备份表和置换表中的至少一个重建索引。
可选的,该装置还包括指令接收模块,用于:在读取分区维护配置表之前,确定是否接收到配置于作业调度平台上的预设作业模块发送的调用请求,若是,则触发执行读取分区维护配置表的操作。
实施例四
图5为本发明实施例四中的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外,本实施例中的电子设备12,显示器24不是作为独立个体存在,而是嵌入镜面中,在显示器24的显示面不予显示时,显示器24的显示面与镜面从视觉上融为一体。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的分区表的备份方法,包括:
读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表;
根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定分区对应的备份表;
将分区的数据置换到备份表,并删除分区。
实施例五
本发明实施例五提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有发明实施例提供的分区表的备份方法,该方法具体包括:
读取分区维护配置表,根据分区维护配置表确定需要进行自动维护的第一分区表;
根据分区维护配置表确定第一分区表的超过预设保留期限的分区,确定分区对应的备份表;
将分区的数据置换到备份表,并删除分区。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
实施例六
本发明实施例还提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现如本申请任一实施例所提供的分区表的备份方法。
计算机程序产品在实现的过程中,可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (16)
1.一种分区表的备份方法,其特征在于,所述方法包括:
读取分区维护配置表,根据所述分区维护配置表确定需要进行自动维护的第一分区表;
根据所述分区维护配置表确定所述第一分区表的超过预设保留期限的分区,确定所述分区对应的备份表;
将所述分区的数据置换到所述备份表,并删除所述分区。
2.根据权利要求1所述的方法,其特征在于,所述将所述分区的数据置换到所述备份表,包括:
将所述分区的数据置换到置换表,将所述置换表的数据置换到所述备份表;其中,所述置换表为非分区表,所述备份表为第二分区表。
3.根据权利要求2所述的方法,其特征在于,在确定所述分区对应的备份表之前,所述方法还包括:
判断是否存在所述分区对应的置换表和备份表;
若不存在所述置换表,则创建包含的字段与所述第一分区表中的字段一致的置换表;若不存在所述备份表,则创建包含的字段与所述第一分区表中的字段一致的备份表。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
若存在所述置换表,则确定所述置换表中的字段与所述第一分区表中的字段是否一致,若不一致,则修改所述置换表中的字段,以使所述置换表中的字段与所述第一分区表中的字段一致;
若存在所述备份表,则确定所述备份表中的字段与所述第一分区表中的字段是否一致,若不一致,则修改所述备份表中的字段,以使所述备份表中的字段与所述第一分区表中的字段一致。
5.根据权利要求2所述的方法,其特征在于,在将所述分区的数据置换到所述置换表之前,所述方法还包括:
将所述置换表的索引和所述备份表的索引分别与所述第一分区表的索引进行比较,若所述置换表的索引与所述第一分区表的索引不一致,则调整所述置换表的索引,以使所述置换表的索引与所述第一分区表的索引一致;若所述备份表的索引与所述第一分区表的索引不一致,则调整所述备份表的索引,以使所述备份表的索引与所述第一分区表的索引一致。
6.根据权利要求2所述的方法,其特征在于,所述将所述分区的数据置换到所述置换表,将所述置换表的数据置换到所述备份表,包括:
将由所述分区指向所述第一分区表的指针,修改为指向所述置换表,以将所述分区的数据置换到所述置换表;
将由所述分区指向所述置换表的所述指针,修改为指向所述备份表,以将所述置换表的数据置换到所述备份表。
7.根据权利要求1所述的方法,其特征在于,在确定所述分区对应的备份表之前,所述方法还包括:
根据所述分区维护配置表确定所述分区的分区维护方式是直接删除方式或是备份删除方式;
若是备份删除方式,则触发执行确定所述分区对应的备份表的操作。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
若是直接删除方式,则删除所述分区。
9.根据权利要求1所述的方法,其特征在于,在根据所述分区维护配置表确定需要进行自动维护的第一分区表之后,所述方法还包括:
获取所述第一分区表的各分区分别对应的存储周期;其中,所述存储周期表征对应分区用于存储的数据的产生时间段;
根据所述存储周期确定所述第一分区表当前的分区数量是否满足预设的数据量存储需求;
若不满足,则为所述第一分区表创建至少一个新的分区,以满足所述数据量存储需求。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
记录各个操作的操作内容和操作结果;
将所述操作内容和所述操作结果保存在所述分区维护配置表中。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
定时判断所述第一分区表、所述备份表和所述置换表的索引是否失效;
基于判断结果针对索引失效的所述第一分区表、所述备份表和所述置换表中的至少一个重建索引。
12.根据权利要求1-11中任一项所述的方法,其特征在于,在读取分区维护配置表之前,所述方法还包括:
确定是否接收到配置于作业调度平台上的预设作业模块发送的调用请求,若是,则触发执行读取分区维护配置表的操作。
13.一种分区表的备份装置,其特征在于,包括:
第一确认模块,用于读取分区维护配置表,根据所述分区维护配置表确定需要进行自动维护的第一分区表;
第二确认模块,用于根据所述分区维护配置表确定所述第一分区表的超过预设保留期限的分区,确定所述分区对应的备份表;
分区置换模块,用于将所述分区的数据置换到所述备份表,并删除所述分区。
14.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至12中任一所述的分区表的备份方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-12中任一所述的分区表的备份方法。
16.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时实现权利要求1-12中任一所述的分区表的备份方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111460105.1A CN114168384A (zh) | 2021-12-02 | 2021-12-02 | 一种分区表的备份方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111460105.1A CN114168384A (zh) | 2021-12-02 | 2021-12-02 | 一种分区表的备份方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114168384A true CN114168384A (zh) | 2022-03-11 |
Family
ID=80482406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111460105.1A Pending CN114168384A (zh) | 2021-12-02 | 2021-12-02 | 一种分区表的备份方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114168384A (zh) |
-
2021
- 2021-12-02 CN CN202111460105.1A patent/CN114168384A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107391653B (zh) | 一种分布式NewSQL数据库系统及图片数据储存方法 | |
CN110647579A (zh) | 数据同步方法及装置、计算机设备与可读介质 | |
CN107515874B (zh) | 一种分布式非关系型数据库中同步增量数据的方法与设备 | |
CN111241203B (zh) | Hive数据仓库同步方法、系统、设备及存储介质 | |
CN109634587B (zh) | 一种生成入库脚本以及数据入库的方法和设备 | |
CN111709527A (zh) | 运维知识图谱库的建立方法、装置、设备及存储介质 | |
US11977532B2 (en) | Log record identification using aggregated log indexes | |
US7519636B2 (en) | Key sequenced clustered I/O in a database management system | |
CN110825694A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN111651519A (zh) | 数据同步方法、数据同步装置、电子设备及存储介质 | |
CN113946547B (zh) | 网盘文件的摆渡方法、装置、网盘及存储介质 | |
CN114996288A (zh) | 数据比对方法及装置、计算机存储介质、电子设备 | |
CN112860706A (zh) | 一种业务的处理方法、装置、设备及存储介质 | |
CN114201615A (zh) | 基于数据快照的科研数据变动回顾方法及服务器 | |
US20040015520A1 (en) | Database managing method and system having data backup function and associated programs | |
CN112486985A (zh) | 一种锅炉数据的查询方法、装置、设备及存储介质 | |
CN112948396A (zh) | 数据存储方法、装置、电子设备及存储介质 | |
CN111666302A (zh) | 用户排名的查询方法、装置、设备及存储介质 | |
CN104317820B (zh) | 报表的统计方法和装置 | |
CN111309740A (zh) | 一种数据处理的方法、装置、设备及存储介质 | |
CN114168384A (zh) | 一种分区表的备份方法、装置、电子设备及存储介质 | |
CN116628042A (zh) | 数据处理方法、装置、设备及介质 | |
CN113010208A (zh) | 一种版本信息的生成方法、装置、设备及存储介质 | |
CN114398334A (zh) | 基于ZNBase集群的Prometheus远程存储方法及系统 | |
CN113760950A (zh) | 指标数据查询方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |