CN116049179A - 一种基于云数据库的被删目标表的恢复方法及装置 - Google Patents

Abstract

本发明涉及一种基于云数据库的被删目标表的恢复方法及装置,属于云计算技术领域。所述方法包括以下步骤：基于云数据库执行目标表删除指令对目标表进行删除时，创建用于保存目标表的中间回收站；执行目标表恢复指令，从所述中间回收站恢复所述被删目标表。本方法能够实现被删目标表的快速恢复，方法简单高效、运维方便，无需停库，降低了企业生产和运维成本。

Description

一种基于云数据库的被删目标表的恢复方法及装置

技术领域

本发明属于云计算技术领域，尤其涉及一种基于云数据库的被删目标表的恢复方法及装置。

背景技术

关系型数据库管理系统(RelatinalDatabase System，RDS)随着云计算的飞速发展从之前的数据库单实例应用逐渐演变成云厂商自研的高可用RDS、分布式数据库。首先，企业上云对云数据库的运维功能需求日渐增强，具体表现为需求功能复杂化、运维智能化、高容错、高安全、高可用、高性能的特点。其次，由于用户操作不当导致后台RDS数据错误修改或者删表情况，从而直接严重影响企业应用正常运行，从而影响生产，造成重大财产损失。因此，保存误删的目标表并恢复误删数据显得十分重要。

据调研分析，PostgreSQL作为一种开源RDS产品正受到云厂商的青睐。基于PostgreSQL实现还原误操作和误删表的功能需求也迫使数据库厂商、数据库技术从业者寻找解决方案。基于PostgreSQL引擎针对删除表droptable语句要恢复误删数据表的场景，业界主要有如下方法：①基于插件pg_trashcan等对droptable等DDL语句创建新的内模式存储，但该方法不可再次恢复同名字的表、且严重影响性能、不能基于时间段保存。②基于重做日志分析误删表等操作，主要有基于walminer插件或pg_waldump运维工具对wal日志分析出某时间段内具体执行的SQL语句，然后回滚到历史节点或者在现有基础上补加DDL、DML达到恢复误删表数据的目的，该方法针对DDL语句闪回仅限于系统表、难度高且运维复杂。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于云数据库的被删目标表的恢复方法及装置，在删除目标表时通过创建保存目标表的中间回收站，实现被删目标表的快速恢复，方法简单高效、运维方便，无需停库，降低了企业生产和运维成本。

根据本发明的一个方面，本发明提供了一种基于云数据库的被删目标表的恢复方法，所述方法包括以下步骤：

S1：基于云数据库执行目标表删除指令对目标表进行删除时，创建用于保存目标表的中间回收站；

S2：执行目标表恢复指令，从所述中间回收站恢复所述被删目标表。

优选地，所述云数据库为关系型数据库PostgreSQL；所述执行目标表删除指令为：执行SQL语句：droptable目标表名；所述执行目标表恢复指令为：执行SQL语句：flashbacktable目标表名。

优选地，所述创建用于保存目标表的中间回收站包括：

构建新的系统表，用于记录所述被删目标表的表名和所述被删目标表的属性，并移动所述被删目标表在数据存储目录中对应的物理文件。

优选地，所述基于云数据库执行目标表删除指令对目标表进行删除包括：

在后台进程执行SQL语句：droptable目标表名时，将pg_class中表名为目标表名的表名记录复制到新创建的备份系统表pg_class1中；将pg_attribute中表名为目标表名的属性记录复制到新创建的备份系统表pg_attribute1中；将目标表名对应的物理文件从原有的base目录自动移动到新创建的回收目录base1下。

优选地，所述执行目标表恢复指令，从所述中间回收站恢复所述被删目标表包括：

在后台进程执行SQL语句：flashback table目标表名时，将备份的系统表pg_class1中表名为目标表名的表名记录插入到原有系统表pg_class中；将备份的系统表pg_attribute1中表名为目标表名的属性记录插入到原有系统表pg_atrribute中；将物理数据文件从base1移动到base下。

根据本发明的另一个方面，本发明还提供了一种基于云数据库的被删目标表的恢复装置，所述装置包括：

创建模块，用于基于云数据库执行目标表删除指令对目标表进行删除时，创建用于保存目标表的中间回收站；

恢复模块，用于执行目标表恢复指令，从所述中间回收站恢复所述被删目标表。

优选地，所述云数据库为关系型数据库PostgreSQL；所述执行目标表删除指令为：执行SQL语句：droptable目标表名；所述执行目标表恢复指令为：执行SQL语句：flashbacktable目标表名。

优选地，所述创建模块创建用于保存目标表的中间回收站包括：

构建新的系统表，用于记录所述被删目标表的表名和所述被删目标表的属性，并移动所述被删目标表在数据存储目录中对应的物理文件。

优选地，所述基于云数据库执行目标表删除指令对目标表进行删除包括：

在后台进程执行SQL语句：droptable目标表名时，将pg_class中表名为目标表名的表名记录复制到新创建的备份系统表pg_class1中；将pg_attribute中表名为目标表名的属性记录复制到新创建的备份系统表pg_attribute1中；将目标表名对应的物理文件从原有的base目录自动移动到新创建的回收目录base1下。

优选地，所述恢复模块执行目标表恢复指令，从所述中间回收站恢复所述被删目标表包括：

在后台进程执行SQL语句：flashback table目标表名时，将备份的系统表pg_class1中表名为目标表名的表名记录插入到原有系统表pg_class中；将备份的系统表pg_attribute1中表名为目标表名的属性记录插入到原有系统表pg_atrribute中；将物理数据文件从base1移动到base下。

有益效果：本发明基于关系型数据库PostgreSQL引擎的内核源码，在droptable语句执行时构建新的系统表，用于存储被删目标表的表名、属性以及物理文件，通过构建新的SQL语法flashbacktable，还原回收站被删目标表数据，该方法简单高效、运维方便，尤其可大幅度降低针对误删目标表找回历史数据场景的成本，从而降低用户以及企业财产损失。

通过参照以下附图及对本发明的具体实施方式的详细描述，本发明的特征及优点将会变得清楚。

附图说明

图1是基于云数据库的被删目标表的恢复方法流程图；

图2是drop table和flashback table流程示意图；

图3是droptable的程序执行流程图；

图4是flashbacktable的程序执行流程图；

图5是基于云数据库的被删目标表的恢复装置示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1是基于云数据库的被删目标表的恢复方法流程图。如图1所示，本实施例提供了一种基于云数据库的被删目标表的恢复方法，所述方法包括以下步骤：

S1：基于云数据库执行目标表删除指令对目标表进行删除时，创建用于保存目标表的中间回收站；

S2：执行目标表恢复指令，从所述中间回收站恢复所述被删目标表。

本实施例在删除目标表时通过创建保存目标表的中间回收站，实现被删目标表的快速恢复，方法简单高效、运维方便，无需停库，降低了企业生产和运维成本。

优选地，所述云数据库为关系型数据库PostgreSQL；所述执行目标表删除指令为：执行SQL语句：droptable目标表名；所述执行目标表恢复指令为：执行SQL语句：flashbacktable目标表名。

具体地，本实施例基于关系型数据库系统PostgreSQL引擎，提供一种完全自主可控的针对执行数据库SQL语句：droptable目标表名，创建保存目标表的中间回收站，同时再执行数据库SQL语句：flashbacktable目标表名，从而达到恢复被删目标表。

优选地，所述创建用于保存目标表的中间回收站包括：

构建新的系统表，用于记录所述被删目标表的表名和所述被删目标表的属性，并移动所述被删目标表在数据存储目录中对应的物理文件。

具体地，本实施例针对现有RDS误删表需恢复误删数据的问题，基于PostgreSQL源码，当用户执行SQL语句：droptable目标表名，底层会构建新的系统表，用于记录被删除目标表的表名以及表的属性，并移动被删除表在数据存储目录对应的物理文件，以至于达到回收删除目标表的目的，用户通过执行SQL语句：flashbacktable目标表名，恢复误删目标表数据。

优选地，所述基于云数据库执行目标表删除指令对目标表进行删除包括：

在后台进程执行SQL语句：droptable目标表名时，将pg_class中表名为目标表名的表名记录复制到新创建的备份系统表pg_class1中；将pg_attribute中表名为目标表名的属性记录复制到新创建的备份系统表pg_attribute1中；将目标表名对应的物理文件从原有的base目录自动移动到新创建的回收目录base1下。

具体地，参考图2和图3，在原基于PostgreSQL引擎RDS中，当用户在后台postgres进程执行一条droptabletable_name的DDL语句前后，RDS发生变化如下：

1、pg_class系统表将删除关于表名为table_name的1条记录。

2、pg_attribute系统表将删除关于表名为table_name的7条记录

3、$PGDATA/base/dat_oid/目录将删除关于表名为table_name相对应的reloid、reloid.fsm、reloid.vm的数据物理文件。

基于上述变化，本实施例的方案包括两个步骤：

①droptabletable_name保存表数据到回收目录；

②flashbacktabletable_name还原回收数据到原系统表和数据目录。

其中，步骤①在保存数据过程中：在后台postgres进程执行droptable a语句时，该系统将调用libpq(PostgreSQL数据库C语言驱动模块)连接postgres服务端，将pg_class中关于表名为a的表名记录复制到新的pg_class系统新创建的备份系统表pg_class1中；同样，将pg_attribute中关于表名为a的属性记录复制到新创建的备份系统表pg_attribute1中；与此同时，将表名为a对应的物理文件从原有的base目录自动移动到新创建的回收目录base1下。

再次参考图3所示，在postgres内核源码中创建与pg_class和pg_attribute两个表结构一样的备份系统表pg_class1和系统表pg_attribute1，用于备份删除表的表名和表中列属性。当执行droptable table_name带purge关键字，则直接调用RemoveRelations函数达到删除系统表中相关记录和删除物理文件的目的；若不带purge关键字，则会依次查询pg_class、pg_attribute系统表以及物理文件位置，其中3条查询语句如下：

语句1：select*from pg_class where relname＝'table_name'；

语句2：select*from pg_attribute where attrelid＝(select oid from pg_class where relname＝'table_name')；

语句3：select pg_relation_filepath('table_name')；

语句1的结果插入到pg_class1中；语句2的结果插入到pg_attribute1中；语句3的结果将base修改成base1，然后调用make-p$PGDATA/base1/../..即可生成回收站的物理文件。

优选地，所述执行目标表恢复指令，从所述中间回收站恢复所述被删目标表包括：

在后台进程执行SQL语句：flashback table目标表名时，将备份的系统表pg_class1中表名为目标表名的表名记录插入到原有系统表pg_class中；将备份的系统表pg_attribute1中表名为目标表名的属性记录插入到原有系统表pg_atrribute中；将物理数据文件从base1移动到base下。

具体地，参考图4，步骤②在恢复数据过程中：在后台postgres进程执行flashbacktable a语句时，其将调用libpq连接postgres服务端，将备份的系统表pg_class1中关于表名a的表名记录插入到原有系统表pg_class中；同时，将备份的系统表pg_attribute1中关于表名a的属性记录插入到原有系统表pg_atrribute中；并且，将物理数据文件从base1移动到base下。

再次参考附图4所示，当执行flashback table table_name操作时，则操作几乎是步骤①的逆过程，也会内部执行2条查询语句：

语句1：select*from pg_class1 where relname＝'table_name'；

语句2：select*from pg_attribute1 where attrelid＝(select oid from pg_class where relname＝'table_name')；

语句1的结果插入到pg_class中；语句2的结果插入到pg_attribute中；物理文件只会从$PGDATA/base1/目录下移动到$PGDATA/base/目录下。最后清除备份系统表pg_class1和pg_attribute1中相关记录即可。

本实施例基于关系型数据库PostgreSQL引擎的内核源码，在droptable语句执行时构建新的系统表，用于存储被删目标表的表名、属性以及物理文件，通过构建新的SQL语法flashbacktable，还原回收站被删目标表数据，该方法简单高效、运维方便，尤其可大幅度降低针对误删目标表找回历史数据场景的成本，从而降低用户以及企业财产损失。

本实施例的方法与pg_trashcan等插件方式、基于walminer解析pg_wal日志文件回退到某个事务提交点或补加事务等方法相比，具备简单高效、稳定无需停库、影响数据库性能微小、显著降低企业或数据库云厂商运维和生产的成本的优点。

实施例2

图5是基于云数据库的被删目标表的恢复装置示意图。如图5所示，本发明还提供了一种基于云数据库的被删目标表的恢复装置，所述装置包括：

创建模块501，用于基于云数据库执行目标表删除指令对目标表进行删除时，创建用于保存目标表的中间回收站；

恢复模块502，用于执行目标表恢复指令，从所述中间回收站恢复所述被删目标表。

优选地，所述云数据库为关系型数据库PostgreSQL；所述执行目标表删除指令为：执行SQL语句：droptable目标表名；所述执行目标表恢复指令为：执行SQL语句：flashbacktable目标表名。

优选地，所述创建模块501创建用于保存目标表的中间回收站包括：

构建新的系统表，用于记录所述被删目标表的表名和所述被删目标表的属性，并移动所述被删目标表在数据存储目录中对应的物理文件。

优选地，所述基于云数据库执行目标表删除指令对目标表进行删除包括：

在后台进程执行SQL语句：droptable目标表名时，将pg_class中表名为目标表名的表名记录复制到新创建的备份系统表pg_class1中；将pg_attribute中表名为目标表名的属性记录复制到新创建的备份系统表pg_attribute1中；将目标表名对应的物理文件从原有的base目录自动移动到新创建的回收目录base1下。

优选地，所述恢复模块502执行目标表恢复指令，从所述中间回收站恢复所述被删目标表包括：

在后台进程执行SQL语句：flashback table目标表名时，将备份的系统表pg_class1中表名为目标表名的表名记录插入到原有系统表pg_class中；将备份的系统表pg_attribute1中表名为目标表名的属性记录插入到原有系统表pg_atrribute中；将物理数据文件从base1移动到base下。

本实施例2中各个模块所实现的功能的具体实施过程与实施例1中的各个步骤的实施过程相同，在此不再赘述。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种基于云数据库的被删目标表的恢复方法，其特征在于，所述方法包括以下步骤：

S1：基于云数据库执行目标表删除指令对目标表进行删除时，创建用于保存目标表的中间回收站；

S2：执行目标表恢复指令，从所述中间回收站恢复所述被删目标表。

2.根据权利要求1所述的方法，其特征在于，所述云数据库为关系型数据库PostgreSQL；所述执行目标表删除指令为：执行SQL语句：droptable目标表名；所述执行目标表恢复指令为：执行SQL语句：flashbacktable目标表名。

3.根据权利要求2所述的方法，其特征在于，所述创建用于保存目标表的中间回收站包括：

构建新的系统表，用于记录所述被删目标表的表名和所述被删目标表的属性，并移动所述被删目标表在数据存储目录中对应的物理文件。

4.根据权利要求3所述的方法，其特征在于，所述基于云数据库执行目标表删除指令对目标表进行删除包括：

在后台进程执行SQL语句：droptable目标表名时，将pg_class中表名为目标表名的表名记录复制到新创建的备份系统表pg_class1中；将pg_attribute中表名为目标表名的属性记录复制到新创建的备份系统表pg_attribute1中；将目标表名对应的物理文件从原有的base目录自动移动到新创建的回收目录base1下。

5.根据权利要求4所述的方法，其特征在于，所述执行目标表恢复指令，从所述中间回收站恢复所述被删目标表包括：

在后台进程执行SQL语句：flashback table目标表名时，将备份的系统表pg_class1中表名为目标表名的表名记录插入到原有系统表pg_class中；将备份的系统表pg_attribute1中表名为目标表名的属性记录插入到原有系统表pg_atrribute中；将物理数据文件从base1移动到base下。

6.一种基于云数据库的被删目标表的恢复装置，其特征在于，所述装置包括：

创建模块，用于基于云数据库执行目标表删除指令对目标表进行删除时，创建用于保存目标表的中间回收站；

恢复模块，用于执行目标表恢复指令，从所述中间回收站恢复所述被删目标表。

7.根据权利要求6所述的装置，其特征在于，所述云数据库为关系型数据库PostgreSQL；所述执行目标表删除指令为：执行SQL语句：droptable目标表名；所述执行目标表恢复指令为：执行SQL语句：flashbacktable目标表名。

8.根据权利要求7所述的装置，其特征在于，所述创建模块创建用于保存目标表的中间回收站包括：

构建新的系统表，用于记录所述被删目标表的表名和所述被删目标表的属性，并移动所述被删目标表在数据存储目录中对应的物理文件。

9.根据权利要求8所述的装置，其特征在于，所述基于云数据库执行目标表删除指令对目标表进行删除包括：

在后台进程执行SQL语句：droptable目标表名时，将pg_class中表名为目标表名的表名记录复制到新创建的备份系统表pg_class1中；将pg_attribute中表名为目标表名的属性记录复制到新创建的备份系统表pg_attribute1中；将目标表名对应的物理文件从原有的base目录自动移动到新创建的回收目录base1下。

10.根据权利要求9所述的装置，其特征在于，所述恢复模块执行目标表恢复指令，从所述中间回收站恢复所述被删目标表包括：

在后台进程执行SQL语句：flashback table目标表名时，将备份的系统表pg_class1中表名为目标表名的表名记录插入到原有系统表pg_class中；将备份的系统表pg_attribute1中表名为目标表名的属性记录插入到原有系统表pg_atrribute中；将物理数据文件从base1移动到base下。

Images