CN107315763A - 一种针对Oracle数据库跨平台数据迁移方法 - Google Patents

一种针对Oracle数据库跨平台数据迁移方法 Download PDF

Info

Publication number
CN107315763A
CN107315763A CN201710282372.1A CN201710282372A CN107315763A CN 107315763 A CN107315763 A CN 107315763A CN 201710282372 A CN201710282372 A CN 201710282372A CN 107315763 A CN107315763 A CN 107315763A
Authority
CN
China
Prior art keywords
data
file
database
migration
table space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710282372.1A
Other languages
English (en)
Inventor
邱大龙
李建辉
熊中哲
魏兴华
臧冰凌
李春
陈栋
张文件
罗春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Wo Qu Polytron Technologies Inc
Original Assignee
Hangzhou Wo Qu Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Wo Qu Polytron Technologies Inc filed Critical Hangzhou Wo Qu Polytron Technologies Inc
Priority to CN201710282372.1A priority Critical patent/CN107315763A/zh
Publication of CN107315763A publication Critical patent/CN107315763A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据库技术领域，公开了一种针对Oracle数据库跨平台数据迁移方法，包括如下步骤：(1)获取数据库迁移总数据量和输入输出性能大小；(2)分批次进行初始化，修改配置文件中表空间参数和并行参数；(3)修改配置文件中表空间参数和并行参数，进行增量数据备份并应用到转换后的数据文件。本发明解决了原有方法初始化和增量备份时间跨度长，难以避免覆盖线上业务时间的缺点；打散了数据初始化和进行增量备份的时间，使数据迁移的作业时间更加灵活，从而可以保证数据迁移在业务低峰期完成。

Description

一种针对Oracle数据库跨平台数据迁移方法
技术领域
本发明涉及数据库技术领域，尤其涉及了一种针对Oracle数据库跨平台数据迁移方法。
背景技术
Oracle数据库系统是美国Oracle公司(甲骨文)提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。比如SilverStream就是基于数据库的一种中间件。Oracle数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。但它的所有知识，只要在一种机型上学习了Oracle知识，就可以在各种类型的机器上使用它。
XTTS是Oracle跨平台数据迁移的有效方法，但对于大数据量的系统，初始化和增量备份时间过长。但是，在实际生产环境中，对于具体的作业时间有明确要求不能对正常运行的业务有影响。如果能将作业时间打散分片，按需配置，则会大大增加该方法的实用性。
发明内容
本发明针对现有技术中Oracle数据库异构平台迁移中使用XTTS方法，大数据量情况下初始化和增量备份耗时较长，数据迁移操作本身消耗操作系统资源，尤其是有大量IO操作，对正式运行的数据库性能会有所影响的缺点，提供了一种针对Oracle数据库跨平台数据迁移方法。
为了解决上述技术问题，本发明通过下述技术方案得以解决。
一种针对Oracle数据库跨平台数据迁移方法，包括如下步骤：
(1)获取数据库迁移总数据量和输入输出的性能大小，根据数据库内每个表空间数据量大小进行编写迁移分批次表，具体过程为：
①通过数据库恢复管理器测试数据库每秒的吞吐能力，来选择并行度，使数据库的吞吐能力达到最大；
②设定基准值，基准值为数据库的工作时间，根据步骤①中测试的吞吐能力计算在基准值内产生的数据量，再根据数据量算出需要表空间的数量；
(2)在初始化阶段作业时间片内，根据步骤(1)中计算出的表空间数量和并行度，来修改配置文件中的表空间参数和并行参数，通过数据库恢复管理器实现：用数据库恢复管理器对表空间的数据文件进行复制，复制结束之后备份生成新数据存放位置文件和迁移起始时间文件；每个批次的复制完成后，使用产生的字节序转换命令进行转换生成符合目标端字节序的数据文件；
(3)在前滚操作的作业时间片内，根据步骤(2)修改配置文件中的表空间参数和前滚操作需要的并行参数；以此对每个表空间发生的数据变化做增量备份，并通过数据库恢复管理器将增量备份通过数据块恢复的方式应用到转换后的数据文件上。
作为优选，时间片为迁移作业的时间。
作为优选，步骤(2)中，新数据存放位置文件用于记录了每次初始化后新数据文件的存放位置；迁移起始时间文件用于记录新数据迁移的起始时间点。
作为优选，步骤(2)中，表空间为一组数据文件的集合；并行度为数据拷贝过程中同时工作的进程数量。
作为优选，步骤(2)中，当日迁移的表空间和所需要的并行度通过内置转换包实现：先通过脚本生成数据库命令文件，数据库命令文件用于进行数据文件的拉取，将待迁移的数据文件转换生成符合目标端字节序的数据文件，并且备份生成新数据存放位置文件和迁移起始时间文件。
本发明由于采用了以上技术方案，具有显著的技术效果：本发明解决了原有方法初始化和增量备份时间跨度长，难以避免覆盖线上业务时间的缺点；打散了数据初始化和进行增量备份的时间，使数据迁移的作业时间更加灵活，从而可以保证数据迁移在业务低峰期完成。
附图说明
图1是本发明一种针对Oracle数据库跨平台数据迁移方法中运行原理图；
图2是本发明一种针对Oracle数据库跨平台数据迁移方法的工作示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步详细描述。
实施例1
如图1至图2所示，一种针对Oracle数据库跨平台数据迁移方法，包括如下步骤：
(1)获取数据库迁移总数据量和输入输出的性能大小，根据数据库内每个表空间数据量大小进行编写迁移分批次表，作为实际实际迁移的行动指导，具体过程为：
①通过数据库恢复管理器Oracle RMAN(Recovery Manager)测试数据库每秒的吞吐能力；
②设定基准值，基准值为数据库的工作时间，根据步骤①中测试的吞吐能力计算在基准值内产生的数据量，对每个表空间进行划分；步骤①中测算出吞吐为100M/s，数据库的工作时间为每天6个小时，那么每天产生的数据量就是100M/s*3600s*6＝2TB；当日做初始化的总数据量不能超过2TB；数据库中有10个表空间，TBS1～TBS10，每个表空间数据量为1TB，那么每天只能迁移2个表空间；
(2)在初始化阶段作业时间片内，时间片为迁移作业的时间，通常作业时间片为业务要求在晚6点到晚12点进行数据迁移，用xtts主程序读取参数文件，修改配置文件中的表空间参数和并行参数，以此来指定当日迁移的表空间和所需要的并行度，表空间为一组数据文件的集合；并行度为数据拷贝过程中同时工作的进程数量；在第一天需要将表空间参数指定为TBS1，TBS2，第二天将表空间参数指定为TBS3，TBS4，以此类推。每天需要使用8个并行度来进行数据的初始化，则修改xtt.properties文件中的参数如下：
tablespaces＝TBS1，TBS2；
parallel＝8；
初始化包括以下方式实现：
通过数据库恢复管理器(Oracle RMAN)实现：用数据库恢复管理器对表空间的数据文件进行复制，复制结束之后备份生成新数据存放位置文件(xttnewdatafiles.txt)和迁移起始时间文件(xttplan.txt)；每个批次的复制完成后，使用产生的字节序转换命令进行转换；新数据存放位置文件用于记录了每次初始化后新数据文件的存放位置；迁移起始时间文件用于记录新数据迁移的起始时间点；
(3)在前滚操作的作业时间片内，根据步骤(2)修改配置文件中的表空间参数和前滚操作需要的并行参数；以此对每个表空间发生的数据变化做增量备份，并通过数据库恢复管理器将增量备份通过数据块恢复的方式应用到转换后的数据文件上。
实施例2
同实施例1所不同的是：
总共需要迁移TBS1，TBS2和TBS3三个表空间，需要使用8个并行度来进行数据的前滚，则修改xtt.properties文件中的参数如下：
tablespaces＝TBS1，TBS2，TBS3；
rollparallel＝8。
初始化方式通过以下方式实现：
②通过内置转换包实现：使用Oracle内置的包dbms_file_transfer，先通过脚本(xttdriver.pl perl)生成数据库命令文件(getfile.sql)，数据库命令(getfile.sql)文件用于进行数据文件的拉取，将待迁移的数据文件转换生成符合目标端字节序的数据文件，并且备份生成新数据存放位置文件(xttnewdatafiles.txt)和迁移起始时间文件(xttplan.txt)；
总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (5)

1.一种针对Oracle数据库跨平台数据迁移方法，其特征在于，包括如下步骤：
(1)获取数据库迁移总数据量和输入输出的性能大小，根据数据库内每个表空间数据量大小进行编写迁移分批次表，具体过程为：
①通过数据库恢复管理器测试数据库每秒的吞吐能力，来选择并行度，使数据库的吞吐能力达到最大；
②设定基准值，基准值为数据库的工作时间，根据步骤①中测试的吞吐能力计算在基准值内产生的数据量，再根据数据量算出需要表空间的数量；
(2)在初始化阶段作业时间片内，根据步骤(1)中计算出的表空间数量和并行度，来修改配置文件中的表空间参数和并行参数，通过数据库恢复管理器实现：用数据库恢复管理器对表空间的数据文件进行复制，复制结束之后备份生成新数据存放位置文件和迁移起始时间文件；每个批次的复制完成后，使用产生的字节序转换命令进行转换生成符合目标端字节序的数据文件；
(3)在前滚操作的作业时间片内，根据步骤(2)修改配置文件中的表空间参数和前滚操作需要的并行参数；以此对每个表空间发生的数据变化做增量备份，并通过数据库恢复管理器将增量备份通过数据块恢复的方式应用到转换后的数据文件上。
2.根据权利要求1所述的一种针对Oracle数据库跨平台数据迁移方法，其特征在于：时间片为迁移作业的时间。
3.根据权利要求1所述的一种针对Oracle数据库跨平台数据迁移方法，其特征在于：步骤(2)中，新数据存放位置文件用于记录了每次初始化后新数据文件的存放位置；迁移起始时间文件用于记录新数据迁移的起始时间点。
4.根据权利要求1所述的一种针对Oracle数据库跨平台数据迁移方法，其特征在于：步骤(2)中，表空间为一组数据文件的集合；并行度为数据拷贝过程中同时工作的进程数量。
5.根据权利要求1所述的一种针对Oracle数据库跨平台数据迁移方法，其特征在于：步骤(2)中，当日迁移的表空间和所需要的并行度通过内置转换包实现：先通过脚本生成数据库命令文件，数据库命令文件用于进行数据文件的拉取，将待迁移的数据文件转换生成符合目标端字节序的数据文件，并且备份生成新数据存放位置文件和迁移起始时间文件。
CN201710282372.1A 2017-04-26 2017-04-26 一种针对Oracle数据库跨平台数据迁移方法 Pending CN107315763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710282372.1A CN107315763A (zh) 2017-04-26 2017-04-26 一种针对Oracle数据库跨平台数据迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710282372.1A CN107315763A (zh) 2017-04-26 2017-04-26 一种针对Oracle数据库跨平台数据迁移方法

Publications (1)

Publication Number Publication Date
CN107315763A true CN107315763A (zh) 2017-11-03

Family

ID=60185137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710282372.1A Pending CN107315763A (zh) 2017-04-26 2017-04-26 一种针对Oracle数据库跨平台数据迁移方法

Country Status (1)

Country Link
CN (1) CN107315763A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299072A (zh) * 2018-10-16 2019-02-01 郑州云海信息技术有限公司 一种数据库在线迁移的方法及装置
CN109471848A (zh) * 2018-09-17 2019-03-15 沈文策 一种数据库迁移方法及装置
CN109690485A (zh) * 2018-08-24 2019-04-26 袁振南 基于数据结构的垃圾回收方法、计算机及存储介质
CN111338843A (zh) * 2018-12-19 2020-06-26 中国移动通信集团云南有限公司 一种生产系统的数据备份方法及装置
CN111611307A (zh) * 2020-06-11 2020-09-01 上海乾臻信息科技有限公司 报表导出方法及装置
CN113468144A (zh) * 2021-07-23 2021-10-01 上海蒙帕信息技术有限公司 一种数据库迁移方法及其迁移装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140379635A1 (en) * 2013-06-25 2014-12-25 Lexmark International Technologies S.A. System and Methods of Data Migration Between Storage Devices
CN105630783A (zh) * 2014-10-27 2016-06-01 青岛金讯网络工程有限公司 一种数据库数据迁移系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140379635A1 (en) * 2013-06-25 2014-12-25 Lexmark International Technologies S.A. System and Methods of Data Migration Between Storage Devices
CN105630783A (zh) * 2014-10-27 2016-06-01 青岛金讯网络工程有限公司 一种数据库数据迁移系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨光: "《深⼊浅出XTTS：Oracle数据库迁移升级利器（附PPT）》", 《HTTPS://DBAPLUS.CN/NEWS-10-1121-1.HTML》 *
杨志洪: "《XTTS，⼜⼀个值得你重视的Oracle数据库迁移升级利器》", 《HTTPS://DBAPLUS.CN/NEWS-10-161-1.HTML》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690485A (zh) * 2018-08-24 2019-04-26 袁振南 基于数据结构的垃圾回收方法、计算机及存储介质
CN109690485B (zh) * 2018-08-24 2023-08-18 袁振南 基于数据结构的垃圾回收方法、计算机及存储介质
CN109471848A (zh) * 2018-09-17 2019-03-15 沈文策 一种数据库迁移方法及装置
CN109299072A (zh) * 2018-10-16 2019-02-01 郑州云海信息技术有限公司 一种数据库在线迁移的方法及装置
CN109299072B (zh) * 2018-10-16 2022-06-10 郑州云海信息技术有限公司 一种数据库在线迁移的方法及装置
CN111338843A (zh) * 2018-12-19 2020-06-26 中国移动通信集团云南有限公司 一种生产系统的数据备份方法及装置
CN111338843B (zh) * 2018-12-19 2023-08-15 中国移动通信集团云南有限公司 一种生产系统的数据备份方法及装置
CN111611307A (zh) * 2020-06-11 2020-09-01 上海乾臻信息科技有限公司 报表导出方法及装置
CN111611307B (zh) * 2020-06-11 2023-12-15 上海乾臻信息科技有限公司 报表导出方法及装置
CN113468144A (zh) * 2021-07-23 2021-10-01 上海蒙帕信息技术有限公司 一种数据库迁移方法及其迁移装置

Similar Documents

Publication Publication Date Title
CN107315763A (zh) 一种针对Oracle数据库跨平台数据迁移方法
CN104850598B (zh) 一种实时数据库备份恢复方法
WO2020224023A1 (zh) 一种分布式存储系统中的重新分片方法及系统
CN104036029B (zh) 大数据一致性对比方法和系统
CN105843707B (zh) 数据库快速恢复方法及设备
CN104239443B (zh) 一种序列化数据操作日志的存储方法
CN106126601A (zh) 一种社保大数据分布式预处理方法及系统
CN103914458A (zh) 一种海量数据迁移的方法及装置
CN111771193A (zh) 用于在生产集群中备份最终一致的数据库的系统和方法
CN109063005B (zh) 一种数据迁移方法及系统、存储介质、电子设备
CN106528070A (zh) 一种数据表生成方法及设备
CN103049709A (zh) 基于生成元扩展彩虹表的密码恢复系统及其恢复方法
CN103631967A (zh) 一种带自增量标识字段的数据表的处理方法及装置
CN107545015A (zh) 一种查询故障的处理方法及处理装置
CN111930716A (zh) 一种数据库扩容方法、装置及系统
CN112214453B (zh) 大规模工业数据压缩存储方法、系统及介质
CN107340971A (zh) 一种数据存储与恢复架构与方法
CN110134646B (zh) 知识平台服务数据存储与集成方法及系统
CN104090995B (zh) 一种ABAQUS轮胎模型中rebar单元网格的自动生成方法
CN108958973B (zh) 分布式文件系统纠删码数据重构存储节点选择方法及装置
CN107783826A (zh) 一种虚拟机迁移方法、装置及系统
CN110704407A (zh) 一种数据去重的方法和系统
CN105608235B (zh) Oracle数据库中备份数据块的重复数据删除方法及系统
CN108875181A (zh) 一种三维模型的三维标注修订变更追踪方法
CN111126022A (zh) 一种实时协作在线电子表格的数据同步协议及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171103

RJ01 Rejection of invention patent application after publication