CN111241062B - 一种数据库备份元数据的迁移方法及装置 - Google Patents
一种数据库备份元数据的迁移方法及装置 Download PDFInfo
- Publication number
- CN111241062B CN111241062B CN202010024480.0A CN202010024480A CN111241062B CN 111241062 B CN111241062 B CN 111241062B CN 202010024480 A CN202010024480 A CN 202010024480A CN 111241062 B CN111241062 B CN 111241062B
- Authority
- CN
- China
- Prior art keywords
- metadata
- file
- export
- instruction
- backup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000005012 migration Effects 0.000 title claims abstract description 33
- 238000013508 migration Methods 0.000 title claims abstract description 33
- 230000008676 import Effects 0.000 claims abstract description 68
- 230000004044 response Effects 0.000 claims abstract description 38
- 238000009795 derivation Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000011084 recovery Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及了一种数据库备份元数据的迁移方法及装置,其中该方法包括:对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件;响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库;将元数据文件从源数据库传输至目标数据库;响应于接收到元数据导入指令,根据元数据导入指令从目标数据库中获取相应的元数据文件,并根据元数据导入指令将获取的元数据文件中的相应元数据写入目标数据库的第二控制文件。本发明的实施例实现了在不同数据库之间为控制文件传递数据库备份元数据,进一步提高数据库的安全性和稳定性。
Description
技术领域
本发明涉及数据库技术领域。本发明进一步涉及一种数据库备份元数据的迁移方法及装置。
背景技术
为了保证数据库的数据安全,大多数数据库都会对其中的数据进行备份,其中以ORACLE(甲骨文,美国软件公司)数据库等为代表的部分数据库会使用例如RMAN(RecoveryManager,恢复管理器)工具对数据库进行物理备份。
在需要数据库恢复时,再使用例如RMAN工具使用物理备份对数据库进行恢复。使用RMAN对数据库备份时,会产生一些数据库备份元数据,这些元数据包含了备份的文件、文件名称、文件SCN号、生成的备份集名称等信息。在目标数据库进行数据库恢复时需要借助这些信息才能完成数据库的恢复,如果没有这些数据库备份,RMAN工具在恢复时将不知道如何恢复数据库。
上述这些数据库备份元数据保存在元数据库的控制文件(控制文件是数据库使用的一种二进制文件,存储了数据库的数据文件名称路径、RMAN 数据库备份元数据、部分参数等)中。数据库备份元数据在控制文件中保留的时长可以进行设置,一般会设置为保留7天,也就是控制文件中可以看到7天前的备份元数据。当执行一次备份的时候,新的数据库备份元数据就会写入到控制文件。如果恢复动作发生时,最近一次备份的元数据尚未写入目标数据库的控制文件,那么该控制文件可能是不包含最近一次备份的新的元数据的。在这种情况下,在目标数据库进行恢复就会出现恢复不完整的等问题。
因此,为了解决现有技术中的上述问题,需要提出一种使数据库备份元数据在源数据库和目标数据库的控制文件之间传递的方法,实现数据库备份元数据的迁移,进一步提高数据库的安全性和稳定性。
发明内容
一方面,本发明基于上述目的提出了一种数据库备份元数据的迁移方法,其中该方法包括以下步骤:
对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件;
响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库;
将元数据文件从源数据库传输至目标数据库;
响应于接收到元数据导入指令,根据元数据导入指令从目标数据库中获取相应的元数据文件,并根据元数据导入指令将获取的元数据文件中的相应元数据写入目标数据库的第二控制文件。
根据本发明的数据库备份元数据的迁移方法的实施例,其中对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件进一步包括:
响应于对源数据库进行全备份,基于全备份所产生的备份信息生成元数据并存入第一控制文件;
响应于对源数据库进行增量备份,基于增量备份所产生的备份信息生成元数据并增量地存入第一控制文件。
根据本发明的数据库备份元数据的迁移方法的实施例,其中响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库进一步包括:
解析元数据导出指令以获取导出参数,导出参数至少包括导出类型、导出路径;
根据导出类型从第一控制文件中读取相应的元数据并生成元数据文件;
将元数据文件按照导出路径存入源数据库。
根据本发明的数据库备份元数据的迁移方法的实施例,其中响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库进一步包括:
响应于导出类型为全导出,从第一控制文件中读取全部元数据并生成元数据文件。
根据本发明的数据库备份元数据的迁移方法的实施例,其中响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库进一步包括:
响应于导出类型为部分导出,解析元数据导出指令以进一步获取导出条件;
从第一控制文件中读取符合导出条件的元数据并生成元数据文件。
根据本发明的数据库备份元数据的迁移方法的实施例,其中响应于接收到元数据导入指令,根据元数据导入指令从目标数据库中获取相应的元数据文件,并根据元数据导入指令将获取的元数据文件中的相应元数据写入目标数据库的第二控制文件进一步包括:
解析元数据导入指令以获取导入参数,导入参数至少包括导入路径;
按照导入路径从目标数据库中获取元数据文件;
将获取的元数据文件中的元数据根据获取的元数据文件的导出类型相应地写入目标数据库的第二控制文件。
根据本发明的数据库备份元数据的迁移方法的实施例,其中将获取的元数据文件中的元数据根据获取的元数据文件的导出类型相应地写入目标数据库的第二控制文件进一步包括:
响应于获取的元数据文件的导出类型为全导出,检查目标数据库的第二控制文件中是否已有元数据;
响应于目标数据库的第二控制文件中没有元数据,将获取的元数据文件中的相应元数据直接写入目标数据库的第二控制文件。
根据本发明的数据库备份元数据的迁移方法的实施例,其中将获取的元数据文件中的元数据根据获取的元数据文件的导出类型相应地写入目标数据库的第二控制文件进一步包括:
响应于目标数据库的第二控制文件中已有元数据,提取获取的元数据文件中与目标数据库的第二控制文件中已有元数据不同的元数据部分;
将不同的元数据部分以增量的方式写入目标数据库的第二控制文件。
根据本发明的数据库备份元数据的迁移方法的实施例,其中将获取的元数据文件中的元数据根据获取的元数据文件的导出类型相应地写入目标数据库的第二控制文件进一步包括:
响应于获取的元数据文件的导出类型为部分导出,提取获取的元数据文件中与目标数据库的第二控制文件中已有元数据不同的元数据部分;
将不同的元数据部分以增量的方式写入目标数据库的第二控制文件。
另一方面,本发明还提出了一种分布式数据存储的装置,其中该装置包括:
备份模块,该备份模块配置为对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件;
元数据导出模块,该元数据导出模块配置为响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库;
接口模块,该接口模块配置为将元数据文件从源数据库传输至目标数据库;
元数据导入模块,该元数据导入模块配置为响应于接收到元数据导入指令,根据元数据导入指令从目标数据库中获取相应的元数据文件,并根据元数据导入指令将获取的元数据文件中的相应元数据写入目标数据库的第二控制文件。
采用上述技术方案,本发明至少具有如下有益效果:通过使数据库备份元数据在源数据库和目标数据库的控制文件之间传递的方式实现了数据库备份元数据的迁移,为此设计了元数据导出指令和元数据导入指令,并且基于元数据导出指令有针对性地从控制文件中导出数据库备份元数据、基于元数据导入指令有针对性地将元数据导入控制文件,实现了在不同数据库之间为控制文件传递数据库备份元数据,保证了在目标数据库的恢复源数据库的数据时能够以最新的数据库备份元数据为依据,进一步提高数据库的安全性和稳定性。
本发明提供了实施例的各方面,不应当用于限制本发明的保护范围。根据在此描述的技术可设想到其它实施方式,这对于本领域普通技术人员来说在研究以下附图和具体实施方式后将是显而易见的,并且这些实施方式意图被包含在本申请的范围内。
下面参考附图更详细地解释和描述了本发明的实施例,但它们不应理解为对于本发明的限制。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对现有技术和实施例描述中所需要使用的附图作简单地介绍,附图中的部件不一定按比例绘制,并且可以省略相关的元件,或者在一些情况下比例可能已经被放大,以便强调和清楚地示出本文描述的新颖特征。另外,如本领域中已知的,结构顺序可以被不同地布置。
图1示出了根据本发明的数据库备份元数据的迁移方法的实施例的示意性框图;
图2示出了根据本发明的数据库备份元数据的迁移装置的实施例的示意图;
图3示出了根据本发明的元数据文件的存储格式的实施例的示意图;
图4示出了根据本发明的针对元数据文件的导入过程的实施例的示意图。
具体实施方式
虽然本发明可以以各种形式实施,但是在附图中示出并且在下文中将描述一些示例性和非限制性实施例,但应该理解的是,本公开将被认为是本发明的示例并不意图将本发明限制于所说明的具体实施例。
在下文就本发明的实施例的说明中需要注意的是,其中提到的步骤的编号在没有特殊说明的情况下,仅用于便捷明确地指示该步骤,并不限定所述步骤的顺序。
为了解决现有技术中的上述问题,本发明提出了一种通过使数据库备份元数据在源数据库和目标数据库的控制文件之间传递的方式实现数据库备份元数据的迁移的方法。图1示出了根据本发明的数据库备份元数据的迁移方法的实施例的示意性框图。在如图1所示的实施例中,该方法至少包括以下步骤:
S1:对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件;
S2:响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库;
S3:将元数据文件从源数据库传输至目标数据库;
S4:响应于接收到元数据导入指令,根据元数据导入指令从目标数据库中获取相应的元数据文件,并根据元数据导入指令将获取的元数据文件中的相应元数据写入目标数据库的第二控制文件。
具体地说,首先步骤S1对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件。数据库在备份时一般可以设置成定时都对数据库进行全备或增量备份,例如每日进行备份,并且也可以对归档日志文件进行备份,每次执行备份后所产生的备份信息会生成相应的元数据并存储到控制文件中。借助前述提及的RMAN工具等可以使用list backup命令查看控制文件中的备份信息元数据,这些备份信息通常至少包含如下内容:备份的文件、文件名称、文件SCN号(序列号)、生成的备份集名称等,通过这些备份信息能够读取到具体的备份数据,然后使用这些备份数据对数据库进行恢复。
由于这些元数据仅保存在控制文件中,因此,需要将这些元数据提取出来。所以,本发明的实施例设计了元数据导出指令和元数据导入指令。其中,元数据导出指令用于有针对性地从第一控制文件(即源数据库的控制文件)中导出数据库备份元数据,元数据导入指令用于有针对性地将元数据导入第二控制文件(即目标数据库的控制文件)。
优选但不限于,元数据导出指令设计为(exprbm:exp rman backup metadata),该指令可以将备份信息相应地生成的元数据全部导出,或只导出指定的备份集,或导出指定某时间段内的元数据,最终生成一个RCM (Recovery Controller Metadata)文件。该指令拥有如下参数:
path:指定生成RCM文件的路径和名称;
full:将元数据全部导出,取值y/n(是/否);
pieces:指定需要导出的元数据的备份片,多个备份片以逗号隔开;
time between X and Y:为时间区间,指定导出某时间段内的备份片。
优选但不限于,元数据导入指令设计为(imprbm:imp rman backup metadata),该指令可以读取RCM文件中全部备份信息元数据,或只读取指定备份集,或只读取指定某时间段内的元数据。该指令可以通过RCM文件将元数据全部导入,或只导入指定的备份集,或导入指定某时间段内的元数据。该指令拥有如下参数:
path:指定RCM文件的路径和名称;
full:将备份信息全部导入;
pieces:指定需要导入的备份片;
time:为时间区间,指定导入某时间段内的备份片。
在源数据库中,当接收到元数据导出指令(exprbm)时,步骤S2根据元数据导出指令从第一控制文件(即源数据库的控制文件)中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库。也就是说,通过元数据导出指令指定了需要导出的元数据以及保存导出的元数据文件的路径。该导出并保存在源数据库中的元数据文件,随后在步骤S3中从源数据库传输至目标数据库,优选地对元数据文件在源数据库和目标数据库之间做物理迁移,包括在线通过总线、网络等传输或线下通过可移动存储设备转移等方式。转移之后,在目标数据库中,当接收到源数据导入指令(imprbm)时,步骤S4根据元数据导入指令从目标数据库中获取相应的元数据文件,并根据元数据导入指令将获取的元数据文件中的相应元数据写入目标数据库的第二控制文件。也就是说,通过源数据导入指令指定了获取元数据文件的路径和需要导入的元数据。根据源数据导入指令将相应的元数据写入第二控制文件(即目标数据库的控制文件)。由此完成了数据库备份元数据在源数据库和目标数据库的控制文件之间传递,实现了数据库备份元数据的物理迁移。在执行数据库恢复动作时,目标数据库的控制文件就可以基于迁移过来的元数据完成相应的数据恢复任务,进一步提高数据库的安全性和稳定性。
另外,为了方便存储和读取数据库备份元数据,本发明设计了一种元数据文件(RCM文件)的存储格式,优选但不限于如图3所示。在元数据文件(RCM文件)开头是源数据库的基本参数,通过该部分可以获取源库基本信息。接下来是备份索引信息存储区,该区域存储着每个备份片编号和名称,以及每个备份片详细信息存储的开始和结束位置,读取该区域信息就可以获取备份基本信息。最后是备份详细信息存储区,该区域存储着每个备份片记录的所有信息。
针对上述元数据文件,一方面,导出数据库备份元数据大体过程如下:
1、通过数据库提供的函数接口读取保存在控制文件中的数据库备份信息以及数据库的基本信息(即元数据);
2、生成元数据文件;
3、在元数据文件的“源库基本信息存储区”,写入数据库基本信息;
4、在元数据文件的“备份索引信息存储区”,将读取到的备份信息中所有备份片编号、备份片名称等信息写入该存储区;
5、在元数据文件的“备份详细信息存储区”,将读取到的备份信息中所有备份片包含的备份文件详细信息写入该存储区。
另一方面,元数据文件中存储的源库备份信息移植到目标数据库后,需要将该元数据文件导入到目标数据库中,优选但不限于如图4所示的过程大体如下:
1、读取元数据文件的“源库基本信息存储区”内容,判断目标数据库名称和源数据库是否一致;
2、读取元数据文件的“备份索引信息存储区”内容和目标数据库控制文件中备份信息,判断目标数据库和元数据文件的备份片编号是否有相同,如果有相同的备份片编号,说明目标数据库中不需要该备份片,目标库只需导入备份片编号不同的备份信息;
3、读取元数据文件的“备份详细信息存储区”中内容,将其中目标数据库中不存在的备份信息通过目标库函数接口写入到目标数据库控制文件。
在本发明的数据库备份元数据的迁移方法的一些实施例中,步骤S1对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件进一步包括:
S1a:响应于对源数据库进行全备份,基于全备份所产生的备份信息生成元数据并存入第一控制文件;
S1b:响应于对源数据库进行增量备份,基于增量备份所产生的备份信息生成元数据并增量地存入第一控制文件。
在数据库进行数据备份时,在本发明的实施例中可以支持两种方式的备份。其一,当对源数据库进行全备份时,步骤S1a基于全备份所产生的备份信息生成元数据并存入第一控制文件(即源数据库的控制文件)。其二,当对源数据库进行增量备份时,步骤S1b基于增量备份所产生的备份信息生成元数据并增量地存入第一控制文件(即源数据库的控制文件)。上述操作避免了每次备份都进行全备份对资源造成的不必要浪费,同时在增量存入时减少了对第一控制文件的操作,提高控制文件的稳定性。
在本发明的数据库备份元数据的迁移方法的一些实施例中,步骤S2响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库进一步包括:
S21:解析元数据导出指令以获取导出参数,导出参数至少包括导出类型、导出路径;
S22:根据导出类型从第一控制文件中读取相应的元数据并生成元数据文件;
S23:将元数据文件按照导出路径存入源数据库。
源数据库在接收到元数据导出指令后,首先S21解析元数据导出指令以获取导出参数,导出参数至少包括导出类型、导出路径。在一些实施例中导出参数还进一步包括时间区间、导出元数据的备份片等。随后S22根据S21中解析得到的导出类型从第一控制文件(即源数据库的控制文件) 中读取相应的元数据并生成元数据文件。最后,S23将S22中生成的元数据文件按照S21中解析得到的导出路径存入源数据库本地的可读存储介质中,以便后续传输。具体导出过程如前述,不再赘述。
在本发明的数据库备份元数据的迁移方法的一些实施例中,步骤S2响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库进一步包括:响应于导出类型为全导出,从第一控制文件中读取全部元数据并生成元数据文件。也就是说,当元数据导出指令中指定导出类型为全导出时,例如exprbm中的full参数取值为y,则从第一控制文件(即源数据库的控制文件)中读取全部的元数据并生成元数据文件。
在本发明的数据库备份元数据的迁移方法的一些实施例中,步骤S2响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库进一步包括:响应于导出类型为部分导出,解析元数据导出指令以进一步获取导出条件;从第一控制文件中读取符合导出条件的元数据并生成元数据文件。当元数据导出指令中指定导出类型为部分导出时,例如exprbm中的full参数取值为n,则需要进一步从元数据导出指令中解析得到导出条件,例如时间区间等。然后再从第一控制文件(即源数据库的控制文件) 中读取符合导出条件的元数据并生成元数据文件,例如读取指定时间区间内产生和/或写入第一控制文件的元数据。
在本发明的数据库备份元数据的迁移方法的一些实施例中,步骤S4响应于接收到元数据导入指令,根据元数据导入指令从目标数据库中获取相应的元数据文件,并根据元数据导入指令将获取的元数据文件中的相应元数据写入目标数据库的第二控制文件进一步包括:
S41:解析元数据导入指令以获取导入参数,导入参数至少包括导入路径;
S42:按照导入路径从目标数据库中获取元数据文件;
S43:将获取的元数据文件中的元数据根据获取的元数据文件的导出类型相应地写入目标数据库的第二控制文件。
目标数据库在接收到元数据导入指令后,首先S41解析元数据导入指令以获取导入参数,导入参数至少包括导入路径。在一些实施例中,导入参数还进一步包括时间区间、导入元数据的备份片等。默认的导入类型是全部导入。随后,S42按照S41解析得到的导入路径从目标数据库中获取元数据文件。最后,S43将该元数据文件中的元数据根据S42中获得的元数据文件的导出类型相应地写入目标数据库的第二控制文件,具体导入过程如前述,不再赘述。
在本发明的数据库备份元数据的迁移方法的一些实施例中,步骤S43 将获取的元数据文件中的元数据根据获取的元数据文件的导出类型相应地写入目标数据库的第二控制文件进一步包括:响应于获取的元数据文件的导出类型为全导出,检查目标数据库的第二控制文件中是否已有元数据;响应于目标数据库的第二控制文件中没有元数据,将获取的元数据文件中的相应元数据直接写入目标数据库的第二控制文件。也就是说,当获取的元数据文件的导出类型为全导出时,首先检查目标数据库的第二控制文件中是否已有元数据,即目标数据库是否已经进行过元数据导入,目标数据库已经具有一定的恢复能力。如果目标数据库的第二控制文件中没有元数据,认为此时目标数据库尚不具备任何源数据库的数据恢复能力,目标数据库尚未掌握任何用于数据恢复的元数据,因此将获取的元数据文件中的相应元数据直接写入目标数据库的第二控制文件,以赋予目标数据库对源数据库的数据进行恢复能力。
在本发明的数据库备份元数据的迁移方法的一些实施例中,步骤S43 将获取的元数据文件中的元数据根据获取的元数据文件的导出类型相应地写入目标数据库的第二控制文件进一步包括:响应于目标数据库的第二控制文件中已有元数据,提取获取的元数据文件中与目标数据库的第二控制文件中已有元数据不同的元数据部分;将不同的元数据部分以增量的方式写入目标数据库的第二控制文件。如果目标数据库的第二控制文件中已经存在元数据,认为此时目标数据库至少具备部分地源数据库的数据恢复能力,目标数据库已经至少掌握部分用于数据恢复的元数据,但不确定此次导入的元数据文件中的元数据对目标数据库而言有多少是未知的,因此需要提取获取的元数据文件中与目标数据库的第二控制文件中已有元数据不同的元数据部分。该元数据部分即是当前目标数据库中欠缺的部分,因而将该元数据部分以增量的方式写入目标数据库的第二控制文件。上述操作避免了每次迁移都进行全写入对资源造成的不必要浪费,同时以增量的方式写入可以减少对第二控制文件的操作,提高控制文件的稳定性。
在本发明的数据库备份元数据的迁移方法的一些实施例中,步骤S43 将获取的元数据文件中的元数据根据获取的元数据文件的导出类型相应地写入目标数据库的第二控制文件进一步包括:响应于获取的元数据文件的导出类型为部分导出,提取获取的元数据文件中与目标数据库的第二控制文件中已有元数据不同的元数据部分;将不同的元数据部分以增量的方式写入目标数据库的第二控制文件。也就是说,当获取的元数据文件的导出类型为部分导出时,人为认定此时一方面目标数据库至少具备部分地源数据库的数据恢复能力,目标数据库已经至少掌握部分用于数据恢复的元数据,只需对部分元数据进行迁移;另一方面目标数据库只需掌握该部分元数据,目标数据库对源数据库的数据恢复只需根据该部分元数据进行即可。在这种情况下,因为尚不能确定此次导入的元数据文件中的元数据对目标数据库而言有多少是未知的,因此需要提取获取的元数据文件中与目标数据库的第二控制文件中已有元数据不同的元数据部分。该元数据部分即是当前目标数据库中欠缺的部分,因而将该元数据部分以增量的方式写入目标数据库的第二控制文件。以增量的方式写入可以减少对第二控制文件的操作,提高控制文件的稳定性。
另一方面,本发明还提出了一种分布式数据存储的装置。图2示出了根据本发明的数据库备份元数据的迁移装置的实施例的示意图。在如图2 所示的实施例中,该装置至少包括:
备份模块M10,该备份模块M10配置为对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件;
元数据导出模块M20,该元数据导出模块M20配置为响应于接收到元数据导出指令,根据元数据导出指令从第一控制文件中读取元数据以生成元数据文件,并根据元数据导出指令将元数据文件存入源数据库;
接口模块M30,该接口模块M30配置为将元数据文件从源数据库传输至目标数据库;
元数据导入模块M40,该元数据导入模块M40配置为响应于接收到元数据导入指令,根据元数据导入指令从目标数据库中获取相应的元数据文件,并根据元数据导入指令将获取的元数据文件中的相应元数据写入目标数据库的第二控制文件。
本发明实施例公开所述的装置、设备等可为各种电子终端设备,例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等,也可以是大型终端设备,如服务器等,因此本发明实施例公开的保护范围不应限定为某种特定类型的装置、设备。本发明实施例公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。
本文所述的计算机可读存储介质(例如存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程 ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM),该RAM可以充当外部高速缓存存储器。作为例子而非限制性的,RAM可以以多种形式获得,比如同步RAM(DRAM)、动态RAM (DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接 Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
采用上述技术方案,本发明至少具有如下有益效果:通过使数据库备份元数据在源数据库和目标数据库的控制文件之间传递的方式实现了数据库备份元数据的迁移,为此设计了元数据导出指令和元数据导入指令,并且基于元数据导出指令有针对性地从控制文件中导出数据库备份元数据、基于元数据导入指令有针对性地将元数据导入控制文件,实现了在不同数据库之间为控制文件传递数据库备份元数据,保证了在目标数据库的恢复源数据库的数据时能够以最新的数据库备份元数据为依据,进一步提高数据库的安全性和稳定性。
应当理解的是,在技术上可行的情况下,以上针对不同实施例所列举的技术特征可以相互组合,从而形成本发明范围内的另外实施例。此外,本文所述的特定示例和实施例是非限制性的,并且可以对以上所阐述的结构、步骤及顺序做出相应修改而不脱离本发明的保护范围。
在本申请中,反意连接词的使用旨在包括连接词。定或不定冠词的使用并不旨在指示基数。具体而言,对“该”对象或“一”和“一个”对象的引用旨在表示多个这样对象中可能的一个。然而,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。此外,可以使用连接词“或”来传达同时存在的特征,而不是互斥方案。换句话说,连接词“或”应理解为包括“和/或”。术语“包括”是包容性的并且具有与“包含”相同的范围。
上述实施例,特别是任何“优选”实施例是实施方式的可能示例,并且仅仅为了清楚理解本发明的原理而提出。在基本上不脱离本文描述的技术的精神和原理的情况下,可以对上述实施例做出许多变化和修改。所有修改旨在被包括在本公开的范围内。
Claims (8)
1.一种数据库备份元数据的迁移方法,其特征在于,所述方法包括以下步骤:
对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件;
响应于接收到元数据导出指令,根据所述元数据导出指令从所述第一控制文件中读取所述元数据以生成元数据文件,并根据所述元数据导出指令将所述元数据文件存入源数据库;
将所述元数据文件从所述源数据库传输至目标数据库;
响应于接收到元数据导入指令,根据所述元数据导入指令从所述目标数据库中获取相应的元数据文件,并根据所述元数据导入指令将所述获取的元数据文件中的相应元数据写入所述目标数据库的第二控制文件;
其中,所述响应于接收到元数据导出指令,根据所述元数据导出指令从所述第一控制文件中读取所述元数据以生成元数据文件,并根据所述元数据导出指令将所述元数据文件存入源数据库进一步包括:解析所述元数据导出指令以获取导出参数,所述导出参数至少包括导出类型、导出路径;根据所述导出类型从所述第一控制文件中读取相应的元数据并生成所述元数据文件;将所述元数据文件按照所述导出路径存入所述源数据库;
所述响应于接收到元数据导入指令,根据所述元数据导入指令从所述目标数据库中获取相应的元数据文件,并根据所述元数据导入指令将所述获取的元数据文件中的相应元数据写入所述目标数据库的第二控制文件进一步包括:解析所述元数据导入指令以获取导入参数,所述导入参数至少包括导入路径;按照所述导入路径从所述目标数据库中获取所述元数据文件;将所述获取的元数据文件中的元数据根据所述获取的元数据文件的导出类型相应地写入所述目标数据库的第二控制文件。
2.根据权利要求1所述的方法,其特征在于,所述对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件进一步包括:
响应于对源数据库进行全备份,基于所述全备份所产生的备份信息生成元数据并存入第一控制文件;
响应于对源数据库进行增量备份,基于所述增量备份所产生的备份信息生成元数据并增量地存入第一控制文件。
3.根据权利要求1所述的方法,其特征在于,所述响应于接收到元数据导出指令,根据所述元数据导出指令从所述第一控制文件中读取所述元数据以生成元数据文件,并根据所述元数据导出指令将所述元数据文件存入源数据库进一步包括:
响应于所述导出类型为全导出,从所述第一控制文件中读取全部元数据并生成所述元数据文件。
4.根据权利要求1所述的方法,其特征在于,所述响应于接收到元数据导出指令,根据所述元数据导出指令从所述第一控制文件中读取所述元数据以生成元数据文件,并根据所述元数据导出指令将所述元数据文件存入源数据库进一步包括:
响应于所述导出类型为部分导出,解析所述元数据导出指令以进一步获取导出条件;
从所述第一控制文件中读取符合所述导出条件的元数据并生成所述元数据文件。
5.根据权利要求1所述的方法,其特征在于,所述将所述获取的元数据文件中的元数据根据所述获取的元数据文件的导出类型相应地写入所述目标数据库的第二控制文件进一步包括:
响应于所述获取的元数据文件的导出类型为全导出,检查所述目标数据库的第二控制文件中是否已有元数据;
响应于所述目标数据库的第二控制文件中没有元数据,将所述获取的元数据文件中的相应元数据直接写入所述目标数据库的第二控制文件。
6.根据权利要求5所述的方法,其特征在于,所述将所述获取的元数据文件中的元数据根据所述获取的元数据文件的导出类型相应地写入所述目标数据库的第二控制文件进一步包括:
响应于所述目标数据库的第二控制文件中已有元数据,提取所述获取的元数据文件中与所述目标数据库的第二控制文件中已有元数据不同的元数据部分;
将所述不同的元数据部分以增量的方式写入所述目标数据库的第二控制文件。
7.根据权利要求1所述的方法,其特征在于,所述将所述获取的元数据文件中的元数据根据所述获取的元数据文件的导出类型相应地写入所述目标数据库的第二控制文件进一步包括:
响应于所述获取的元数据文件的导出类型为部分导出,提取所述获取的元数据文件中与所述目标数据库的第二控制文件中已有元数据不同的元数据部分;
将所述不同的元数据部分以增量的方式写入所述目标数据库的第二控制文件。
8.一种数据库备份元数据的迁移装置,其特征在于,所述装置包括:
备份模块,所述备份模块配置为对源数据库进行备份,并基于备份所产生的备份信息生成元数据并存入第一控制文件;
元数据导出模块,所述元数据导出模块配置为响应于接收到元数据导出指令,根据所述元数据导出指令从所述第一控制文件中读取所述元数据以生成元数据文件,并根据所述元数据导出指令将所述元数据文件存入源数据库;
接口模块,所述接口模块配置为将所述元数据文件从所述源数据库传输至目标数据库;
元数据导入模块,所述元数据导入模块配置为响应于接收到元数据导入指令,根据所述元数据导入指令从所述目标数据库中获取相应的元数据文件,并根据所述元数据导入指令将所述获取的元数据文件中的相应元数据写入所述目标数据库的第二控制文件;
其中,所述元数据导出模块还配置为解析所述元数据导出指令以获取导出参数,所述导出参数至少包括导出类型、导出路径;根据所述导出类型从所述第一控制文件中读取相应的元数据并生成所述元数据文件;将所述元数据文件按照所述导出路径存入所述源数据库;
所述元数据导入模块还配置为解析所述元数据导入指令以获取导入参数,所述导入参数至少包括导入路径;按照所述导入路径从所述目标数据库中获取所述元数据文件;将所述获取的元数据文件中的元数据根据所述获取的元数据文件的导出类型相应地写入所述目标数据库的第二控制文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010024480.0A CN111241062B (zh) | 2020-01-10 | 2020-01-10 | 一种数据库备份元数据的迁移方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010024480.0A CN111241062B (zh) | 2020-01-10 | 2020-01-10 | 一种数据库备份元数据的迁移方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111241062A CN111241062A (zh) | 2020-06-05 |
CN111241062B true CN111241062B (zh) | 2023-01-10 |
Family
ID=70875980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010024480.0A Active CN111241062B (zh) | 2020-01-10 | 2020-01-10 | 一种数据库备份元数据的迁移方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111241062B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112069241A (zh) * | 2020-09-02 | 2020-12-11 | 中国疾病预防控制中心 | 基于元数据驱动的数据共享方法、装置、电子设备以及存储介质 |
CN113590389A (zh) * | 2021-09-27 | 2021-11-02 | 武汉四通信息服务有限公司 | 数据库备份方法、装置、电子设备及存储介质 |
US11853444B2 (en) | 2021-09-27 | 2023-12-26 | EMC IP Holding Company LLC | System and method for securing instant access of data in file based backups in a backup storage system using metadata files |
US11940883B2 (en) * | 2022-07-25 | 2024-03-26 | Dell Products L.P. | Generating a synthetic full backup |
CN115129739B (zh) * | 2022-08-31 | 2022-11-25 | 杭州沃趣科技股份有限公司 | 一种数据文件断点续传方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101650744A (zh) * | 2009-09-16 | 2010-02-17 | 中兴通讯股份有限公司 | 一种基于表空间迁移处理大数据量的系统及方法 |
CN104252502A (zh) * | 2013-06-29 | 2014-12-31 | 北京新媒传信科技有限公司 | 一种数据库管理平台中数据迁移方法和装置 |
CN106649419A (zh) * | 2015-12-31 | 2017-05-10 | 国网河北省电力公司 | 基于用电信息采集系统跨平台数据库数据迁移的方法 |
-
2020
- 2020-01-10 CN CN202010024480.0A patent/CN111241062B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101650744A (zh) * | 2009-09-16 | 2010-02-17 | 中兴通讯股份有限公司 | 一种基于表空间迁移处理大数据量的系统及方法 |
CN104252502A (zh) * | 2013-06-29 | 2014-12-31 | 北京新媒传信科技有限公司 | 一种数据库管理平台中数据迁移方法和装置 |
CN106649419A (zh) * | 2015-12-31 | 2017-05-10 | 国网河北省电力公司 | 基于用电信息采集系统跨平台数据库数据迁移的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111241062A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111241062B (zh) | 一种数据库备份元数据的迁移方法及装置 | |
WO2022126974A1 (zh) | 基于Kafka的增量数据同步方法、装置、设备及介质 | |
CN106445738B (zh) | 一种数据库备份方法及装置 | |
CN105373448B (zh) | 数据库中故障数据的恢复方法和系统 | |
CN106933703B (zh) | 一种数据库数据备份的方法、装置及电子设备 | |
CN109086295B (zh) | 数据同步方法、装置、计算机设备及存储介质 | |
CN105205053A (zh) | 一种数据库增量日志解析方法及系统 | |
CN104077380A (zh) | 一种重复数据删除方法、装置及系统 | |
US20190227710A1 (en) | Incremental data restoration method and apparatus | |
CN113360322A (zh) | 一种基于备份系统恢复数据的方法及设备 | |
CN103389925B (zh) | 一种基于进程名识别的实时备份方法 | |
CN109753381B (zh) | 一种基于对象存储的持续数据保护方法 | |
CN114817230A (zh) | 一种数据流过滤方法及系统 | |
CN108133026B (zh) | 一种多数据的处理方法、系统及存储介质 | |
CN104572339A (zh) | 基于分布式文件系统的数据备份还原系统及方法 | |
WO2017067397A1 (zh) | 一种数据恢复方法和装置 | |
CN113886352B (zh) | 分布式文件系统的元数据恢复方法、装置、设备及介质 | |
CN115858471A (zh) | 业务数据变更记录方法、装置、计算机设备及介质 | |
CN115658391A (zh) | 基于QianBase MPP数据库的WAL机制的备份恢复方法 | |
CN105740131B (zh) | 软件用户行为回退处理方法及装置 | |
CN110471796B (zh) | 一种面向文件目录的完全和增量的备份恢复方法 | |
CN111221801A (zh) | 一种数据库迁移方法、系统及相关装置 | |
CN112836033A (zh) | 业务模型的管理方法、装置、设备及存储介质 | |
CN115374218B (zh) | 一种异构数据库的数据同步方法、装置、设备及介质 | |
CN112463460B (zh) | 一种基于纠删码的小块数据恢复方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |