CN103106271A - 一种基于海量数据的数据库备份及恢复方法和系统 - Google Patents
一种基于海量数据的数据库备份及恢复方法和系统 Download PDFInfo
- Publication number
- CN103106271A CN103106271A CN2013100447699A CN201310044769A CN103106271A CN 103106271 A CN103106271 A CN 103106271A CN 2013100447699 A CN2013100447699 A CN 2013100447699A CN 201310044769 A CN201310044769 A CN 201310044769A CN 103106271 A CN103106271 A CN 103106271A
- Authority
- CN
- China
- Prior art keywords
- subregion
- backup
- index
- database
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于海量数据的数据库备份及恢复方法和系统，通过传递表空间或者表导出的方式将数据库中的数据导出来，然后将这些文件归档到存储介质上，从根本上解决了海量数据备份和恢复效率低下、易出错等问题。本发明已成功运用在实际生产环境中，经实践证明，发现其处理效率比传统备份和恢复方法提升了80%，同时很好地保证数据的完整性和安全性。
Description
技术领域
本发明涉及数据库备份和恢复技术领域，尤其涉及一种基于海量数据的数据库备份及恢复方法和系统。
背景技术
对于Oracle数据库而言，传统的数据库备份和恢复方案有数据导出、数据热备份2种主要方式。
1、通过数据导出方式备份数据
如图1所示，其利用自带EXP/EXPDP工具导出数据来实现数据备份，适用于数据量少、更新频率小、数据安全性要求不高的情况。恢复方式则从导出数据中直接将需要恢复的对象(分区)重新导入到数据库中即可。
2、数据库热备份
这种方式较常见，如图2所示，其要求数据库以归档的方式运行，通过Rman工具实现，还可以实现数据的增量备份，可有效地节省磁盘空间。恢复时，以最后一次全库备份+最后一次全库备份之后的增量备份+归档日志来操作。
以上两种传统的备份、恢复方案，在业务数据量不大的情况，都能达到不错的效果。当数据量达到一定程度时，这些传统的备份和恢复方案，将显得效率低下、甚至力不从心。
有鉴于此，现有技术有待改进和提高。
发明内容
鉴于现有技术的不足，本发明目的在于提供一种基于海量数据的数据库备份及恢复方法和系统。旨在解决现有技术的备份和恢复方案在应对海量数据时效率低下的问题。
本发明的技术方案如下：
一种基于海量数据的数据库备份及恢复方法，其中，包括以下步骤：
进行数据库备份时：
S1、将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读；
S2、将需要导出的分区和分区索引与一个临时表和索引进行分区交换；
S3、对需要备份的临时表和索引以导出表空间的方式备份；
S4、复制表空间文件，并与导出的文件一起保存，同时删除表空间；
进行数据库恢复时：
把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，即完成数据恢复。
所述的基于海量数据的数据库备份及恢复方法，其中，在进行数据库备份时，还包括步骤S5、将导出的数据文件归档，并存储在存储介质、磁盘柜或磁带机中。
一种基于海量数据的数据库备份及恢复系统，其中，包括：
数据库备份系统，其进一步包括：
设置单元，用于将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读；
分区交换单元，用于将需要导出的分区和分区索引与一个临时表和索引进行分区交换；
备份单元，用于对需要备份的临时表和索引以导出表空间的方式备份；
保存单元，用于复制表空间文件，并与导出的文件一起保存，同时删除表空间；
数据库恢复系统，其用于把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，完成数据恢复。
所述的基于海量数据的数据库备份及恢复系统，其中，所述数据库备份系统还包括归档单元，用于将导出的数据文件归档，并存储在存储介质、磁盘柜或磁带机中。
有益效果：
本申请的基于海量数据的数据库备份及恢复方法和系统，通过以传递表空间的方式备份表空间数据,从根本上解决了海量数据备份和恢复效率低下、易出错等问题。本发明已成功运用在实际生产环境中，经实践证明，发现其处理效率比传统备份和恢复方法提升了80%，同时很好地保证数据的完整性和安全性。
附图说明
图1为现有技术中通过数据导出方式备份数据的示意图。
图2为现有技术中通过数据库热备份方式备份数据的示意图。
图3为本发明的基于海量数据的数据库备份及恢复方法中数据库备份方法的流程图。
图4为本发明的基于海量数据的数据库备份及恢复方法中数据库备份方法的较佳实施例的示意图。
具体实施方式
本发明提供一种基于海量数据的数据库备份及恢复方法和系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了方便描述，我们将本方案分成两部分：数据库备份和数据库恢复。
请参阅图1，其为本发明的基于海量数据的数据库备份及恢复方法中数据库备份方法的流程图。如图所示，所述基于海量数据的数据库备份及恢复方法中进行数据库备份时包括以下步骤：
S1、将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读；
S2、将需要导出的分区和分区索引与一个临时表和索引进行分区交换；
S3、对需要备份的临时表和索引以导出表空间的方式备份；
S4、复制表空间文件，并与导出的文件一起保存，同时删除表空间。
下面分别针对上述步骤进行详细描述：
所述步骤S1为将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读。这里需要强调的是，在进行数据备份时，必须进行表分区。也就是说，以传递表空间的方式进行数据备份，通常来说，需要结合表分区技术一起使用的。因为表空间导出的前提就是将表空间的状态设置为只读（Read Only），如果表空间上存储的是非分区表，通常很难将整个表设置成只读，所以是不可行的。
所述步骤S2为将需要导出的分区和分区索引与一个临时表和索引进行分区交换。其解决分区表的默认表空间没有包含在传递的表空间和表分区还有其他分区，没有在要传递的表空间上这2大约束，直接实现对分区的表空间进行移植，在本实施例中，如图3所示，其具体方法如下：
(1)、创建一个须备份的表空间(TS_SALES_2012_1)、分区(SALES_2012_1)和索引(IND_SALES_2012_1)。
(2)、创建一个临时表(TMP_SALES_DATA)。
(3)、在临时表上创建索引(IND_TMP_SALES_DATA)。
(4)、将需要导出的分区数据和分区索引与临时表进行分区交换。
(5)、将临时表和索引所在的表空间导出。
所述步骤S3为对需要备份的临时表和索引以导出表空间的方式备份。相比于传统的数据备份方式（仅仅采用一个逻辑数据抽取的过程，数据库需要按照导出的条件通过数据搜索的方式将数据搜索到，然后导出到磁盘上），本方案而以传递空间的方式导出数据，实际上只导出了表空间的一些元数据（metadata）信息，也就是数据机构类信息，剩下的工作就是直接将表空间数据文件复制到介质上，和导出的元数据信息放在一起保存即可。
所述步骤S4为复制表空间文件，并与导出的文件一起保存，同时删除表空间。比如对于过期的表空间，备份完毕后删除，以释放空间。
进一步地，在进行数据库备份时，还包括步骤S5、将导出的数据文件归档，并存储在存储介质、磁盘柜或磁带机中。
以传递表空间的方式进行备份数据，是在长期的项目实践中总结出来的一套有效、高效的海量数据库备份/恢复方案，因此具有很高的实战指导作用。它通过传递表空间或者表导出的方式将数据库中的数据导出来，然后将这些文件归档到存储介质上。
在进行数据恢复时，只需把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，即完成数据恢复。
本发明还提供了一种基于海量数据的数据库备份及恢复系统，其包括：
数据库备份系统，其进一步包括：
设置单元，用于将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读；
分区交换单元，用于将需要导出的分区和分区索引与一个临时表和索引进行分区交换；
备份单元，用于对需要备份的临时表和索引以导出表空间的方式备份；
保存单元，用于复制表空间文件，并与导出的文件一起保存，同时删除表空间；
数据库恢复系统，其用于把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，完成数据恢复。
进一步地，所述的基于海量数据的数据库备份及恢复系统中，所述数据库备份系统还包括归档单元，用于将导出的数据文件归档，并存储在存储介质、磁盘柜或磁带机中。
上述模块的功能都已经在上述方法中进行了详细介绍，这里就不再冗述了。
综上所述，本发明的基于海量数据的数据库备份及恢复方法和系统，通过以传递表空间的方式备份表空间数据,从根本上解决了海量数据备份和恢复效率低下、易出错等问题。本发明已成功运用在实际生产环境中，经实践证明，发现其处理效率比传统备份和恢复方法提升了80%，同时很好地保证数据的完整性和安全性。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (4)
1.一种基于海量数据的数据库备份及恢复方法，其特征在于，包括以下步骤：
进行数据库备份时：
S1、将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读；
S2、将需要导出的分区和分区索引与一个临时表和索引进行分区交换；
S3、对需要备份的临时表和索引以导出表空间的方式备份；
S4、复制表空间文件，并与导出的文件一起保存，同时删除表空间；
进行数据库恢复时：
把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，即完成数据恢复。
2.根据权利要求1所述的基于海量数据的数据库备份及恢复方法，其特征在于，在进行数据库备份时，还包括步骤S5、将导出的数据文件归档，并存储在存储介质、磁盘柜或磁带机中。
3.一种基于海量数据的数据库备份及恢复系统，其特征在于，包括：
数据库备份系统，其进一步包括：
设置单元，用于将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读；
分区交换单元，用于将需要导出的分区和分区索引与一个临时表和索引进行分区交换；
备份单元，用于对需要备份的临时表和索引以导出表空间的方式备份；
保存单元，用于复制表空间文件，并与导出的文件一起保存，同时删除表空间；
数据库恢复系统，其用于把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，完成数据恢复。
4.根据权利要求3所述的基于海量数据的数据库备份及恢复系统，其特征在于，所述数据库备份系统还包括归档单元，用于将导出的数据文件归档，并存储在存储介质、磁盘柜或磁带机中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310044769.9A CN103106271B (zh) | 2013-02-05 | 2013-02-05 | 一种基于海量数据的数据库备份及恢复方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310044769.9A CN103106271B (zh) | 2013-02-05 | 2013-02-05 | 一种基于海量数据的数据库备份及恢复方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103106271A true CN103106271A (zh) | 2013-05-15 |
| CN103106271B CN103106271B (zh) | 2016-04-20 |
Family
ID=48314126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310044769.9A Active CN103106271B (zh) | 2013-02-05 | 2013-02-05 | 一种基于海量数据的数据库备份及恢复方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103106271B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104679883A (zh) * | 2015-03-17 | 2015-06-03 | 浪潮通信信息系统有限公司 | 一种利用分区置换实现数据快速归档降存储空间的方法 |
| CN105630580A (zh) * | 2014-11-07 | 2016-06-01 | 远光软件股份有限公司 | 基于调度平台的数据汇总方法及数据汇总装置 |
| CN105740722A (zh) * | 2016-01-25 | 2016-07-06 | 上海新炬网络信息技术有限公司 | 一种数据库敏感数据的伪装方法 |
| CN106777345A (zh) * | 2017-01-16 | 2017-05-31 | 山东浪潮商用系统有限公司 | 一种基于海量数据迁移的数据抽取加载方法 |
| CN108268341A (zh) * | 2016-12-30 | 2018-07-10 | 大唐移动通信设备有限公司 | 一种数据迁移、备份及恢复方法及装置 |
| CN109299175A (zh) * | 2018-09-26 | 2019-02-01 | 中国建设银行股份有限公司 | 数据库动态扩展方法、系统、装置和存储介质 |
| CN109901965A (zh) * | 2017-12-08 | 2019-06-18 | 英业达科技有限公司 | 储存资源处理系统及其方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1815475A (zh) * | 2005-02-04 | 2006-08-09 | 国际商业机器公司 | 备份生成装置和恢复处理装置 |
| CN1904881A (zh) * | 2005-07-26 | 2007-01-31 | 北京九州汇宝软件有限公司 | 数据库归档数据的检索方法 |
| CN101251861A (zh) * | 2008-03-18 | 2008-08-27 | 北京锐安科技有限公司 | 一种海量数据加载和查询的方法 |
| CN101650744A (zh) * | 2009-09-16 | 2010-02-17 | 中兴通讯股份有限公司 | 一种基于表空间迁移处理大数据量的系统及方法 |
-
2013
- 2013-02-05 CN CN201310044769.9A patent/CN103106271B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1815475A (zh) * | 2005-02-04 | 2006-08-09 | 国际商业机器公司 | 备份生成装置和恢复处理装置 |
| US20120023069A1 (en) * | 2005-02-04 | 2012-01-26 | International Business Machines Corporation | Backing up and recovering a database |
| CN1904881A (zh) * | 2005-07-26 | 2007-01-31 | 北京九州汇宝软件有限公司 | 数据库归档数据的检索方法 |
| CN101251861A (zh) * | 2008-03-18 | 2008-08-27 | 北京锐安科技有限公司 | 一种海量数据加载和查询的方法 |
| CN101650744A (zh) * | 2009-09-16 | 2010-02-17 | 中兴通讯股份有限公司 | 一种基于表空间迁移处理大数据量的系统及方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105630580A (zh) * | 2014-11-07 | 2016-06-01 | 远光软件股份有限公司 | 基于调度平台的数据汇总方法及数据汇总装置 |
| CN104679883A (zh) * | 2015-03-17 | 2015-06-03 | 浪潮通信信息系统有限公司 | 一种利用分区置换实现数据快速归档降存储空间的方法 |
| CN105740722A (zh) * | 2016-01-25 | 2016-07-06 | 上海新炬网络信息技术有限公司 | 一种数据库敏感数据的伪装方法 |
| CN105740722B (zh) * | 2016-01-25 | 2018-12-04 | 上海新炬网络技术有限公司 | 一种数据库敏感数据的伪装方法 |
| CN108268341A (zh) * | 2016-12-30 | 2018-07-10 | 大唐移动通信设备有限公司 | 一种数据迁移、备份及恢复方法及装置 |
| CN106777345A (zh) * | 2017-01-16 | 2017-05-31 | 山东浪潮商用系统有限公司 | 一种基于海量数据迁移的数据抽取加载方法 |
| CN106777345B (zh) * | 2017-01-16 | 2020-07-28 | 浪潮软件科技有限公司 | 一种基于海量数据迁移的数据抽取加载方法 |
| CN109901965A (zh) * | 2017-12-08 | 2019-06-18 | 英业达科技有限公司 | 储存资源处理系统及其方法 |
| CN109299175A (zh) * | 2018-09-26 | 2019-02-01 | 中国建设银行股份有限公司 | 数据库动态扩展方法、系统、装置和存储介质 |
| CN109299175B (zh) * | 2018-09-26 | 2022-11-08 | 中国建设银行股份有限公司 | 数据库动态扩展方法、系统、装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103106271B (zh) | 2016-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103106271B (zh) | 一种基于海量数据的数据库备份及恢复方法和系统 | |
| CN104850598B (zh) | 一种实时数据库备份恢复方法 | |
| US9183268B2 (en) | Partition level backup and restore of a massively parallel processing database | |
| CN101777016B (zh) | 一种连续数据保护系统的快照存储和数据恢复方法 | |
| CN101763224B (zh) | 储存虚拟化电脑系统及储存系统中管理资料快照影像方法 | |
| CN102541694B (zh) | 一种数据库备份的方法及装置 | |
| US8578112B2 (en) | Data management system and data management method | |
| CN101777017B (zh) | 一种连续数据保护系统的快速恢复方法 | |
| CN103823728B (zh) | 一种独立冗余磁盘阵列智能重建的方法 | |
| CN106021016A (zh) | 在快照之间的虚拟时间点访问 | |
| EP3223158B1 (en) | Data recovery method and storage system | |
| CN102033924B (zh) | 一种数据存储方法和系统 | |
| CN102915278A (zh) | 重复数据删除方法 | |
| US20150193473A1 (en) | Database Storage System based on Optical Disk and Method Using the System | |
| CN104239443B (zh) | 一种序列化数据操作日志的存储方法 | |
| CN103544077A (zh) | 数据处理方法及装置、共享存储设备 | |
| CN104360914A (zh) | 增量快照方法和装置 | |
| CN104462389A (zh) | 基于分级存储的分布式文件系统实现方法 | |
| JP6440773B2 (ja) | データ複製方法及びその装置 | |
| US11663160B2 (en) | Recovering the metadata of data backed up in cloud object storage | |
| CN104199963A (zh) | HBase数据备份恢复的方法和装置 | |
| CN103631967A (zh) | 一种带自增量标识字段的数据表的处理方法及装置 | |
| CN103473258A (zh) | 云存储文件系统 | |
| CN103106200A (zh) | 非关系型数据库同步系统及双写同步方法 | |
| CN104317963A (zh) | 一种数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP03 | Change of name, title or address |
Address after: 528400, Guangdong, Zhongshan, four East Road, Zhongshan, 88, Shang Feng finance business center 5, one of the 18 layers Patentee after: All pass education group (Guangdong) Limited by Share Ltd Address before: 528403, Zhongshan, Guangdong Province, 1 Eastern Library Street, 5 floor, integrated commercial building Patentee before: Guangdong Qtone Education Co., Ltd. |