CN110688370A - 一种数据迁移的方法及装置 - Google Patents

一种数据迁移的方法及装置 Download PDF

Info

Publication number
CN110688370A
CN110688370A CN201910969350.1A CN201910969350A CN110688370A CN 110688370 A CN110688370 A CN 110688370A CN 201910969350 A CN201910969350 A CN 201910969350A CN 110688370 A CN110688370 A CN 110688370A
Authority
CN
China
Prior art keywords
production system
migrated
class
data table
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910969350.1A
Other languages
English (en)
Inventor
许伟
张含宇
王德浩
刘振佳
米文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Austria (china) Gas Investment Co Ltd
Original Assignee
New Austria (china) Gas Investment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Austria (china) Gas Investment Co Ltd filed Critical New Austria (china) Gas Investment Co Ltd
Priority to CN201910969350.1A priority Critical patent/CN110688370A/zh
Publication of CN110688370A publication Critical patent/CN110688370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/219Managing data history or versioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据迁移的方法及装置,该方法,包括:将源端的生产系统中的待迁移数据表分为第一类和第二类;将属于所述第一类的所述待迁移数据表复制到目标端的生产系统中;实时读取所述源端的生产系统中的数据库日志,根据所述数据库日志,判断所述源端的生产系统中属于所述第一类的所述待迁移数据表中是否产生了增量数据,如果是,则将所述增量数据同步到所述目标端的生产系统中;在需要将所述源端的生产系统切换到所述目标端的生产系统时,关闭所述源端的生产系统,将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。本发明提供了一种数据迁移的方法及装置,能够减少生产系统的停机窗口。

Description

一种数据迁移的方法及装置
技术领域
本发明涉及数据处理技术领域,特别涉及一种数据迁移的方法及装置。
背景技术
在数据处理领域经常会遇到需要数据迁移的情况。现有技术中,在进行数据迁移时,需要将源端的生产系统关闭,将源端的生产系统的所有待迁移数据表迁移到目标端的生产系统后,运行目标端的生产系统,生产系统才开始正常处理。举例来说,源端安装有AIX操作系统,目标端安装有X86操作系统,需要将SAP系统从AIX操作系统迁移到X86操作系统下,这时,为了避免迁移后源端的SAP系统的数据与目标端的SAP系统的数据不一致,关闭源端的SAP系统,使得SAP系统不再产生新的数据,将源端的SAP系统的待迁移数据表导出,然后,将导出的待迁移数据表导入到目标端的SAP系统中,导入完成后,运行目标端的SAP系统。
通过上述描述可见,在待迁移数据表的数据量较大时,生产系统的停机窗口较长。
发明内容
本发明实施例提供了一种数据迁移的方法及装置,能够减少生产系统的停机窗口。
一方面,本发明实施例提供了一种数据迁移的方法,包括:
将源端的生产系统中的待迁移数据表分为第一类和第二类;
将属于所述第一类的所述待迁移数据表复制到目标端的生产系统中;
实时读取所述源端的生产系统中的数据库日志,根据所述数据库日志,判断所述源端的生产系统中属于所述第一类的所述待迁移数据表中是否产生了增量数据,如果是,则将所述增量数据同步到所述目标端的生产系统中;
在需要将所述源端的生产系统切换到所述目标端的生产系统时,关闭所述源端的生产系统,将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
可选地,
所述将源端的生产系统中的待迁移数据表分为第一类和第二类,包括:
从所述源端的生产系统中的所述待迁移数据表中,确定出待迁移的业务数据表;
将所述源端的生产系统中数据量超过预设值的所述待迁移的业务数据表划分到所述第一类中;
将所述源端的生产系统中的所述待迁移数据表中不属于所述第一类的待迁移数据表划分到所述第二类中。
可选地,
所述将属于所述第一类的所述待迁移数据表复制到目标端的生产系统中,包括:
根据所述源端的生产系统的源数据库,生成DDL(Database Defination Lanuage,数据库定义语言)文件,其中,属于所述第一类的所述待迁移数据表保存在所述源数据库中;
根据所述DDL文件,在所述目标端的生产系统中创建目标数据库;
配置所述源数据库与所述目标数据库的复制关系;
根据所述复制关系,将属于所述第一类的所述待迁移数据表复制到所述目标数据库中。
可选地,
所述实时读取所述源端的生产系统中的数据库日志,根据所述数据库日志,判断所述源端的生产系统中属于所述第一类的所述待迁移数据表中是否产生了增量数据,如果是,则将所述增量数据同步到所述目标端的生产系统中,包括:
实时读取所述源数据库的数据库日志,根据所述数据库日志,判断所述源数据库中属于所述第一类的所述待迁移数据表中是否产生了所述增量数据,如果是,则将所述增量数据同步到所述目标数据库中。
可选地,
所述将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中,包括:
修改生产系统的自带迁移工具的控制文件,使得所述自带迁移工具不迁移属于所述第一类的所述待迁移数据表;
利用所述自带迁移工具将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
另一方面,本发明实施例提供了一种数据迁移的装置,包括:
分类单元,用于将源端的生产系统中的待迁移数据表分为第一类和第二类;
第一迁移单元,用于将属于所述第一类的所述待迁移数据表复制到目标端的生产系统中,实时读取所述源端的生产系统中的数据库日志,根据所述数据库日志,判断所述源端的生产系统中属于所述第一类的所述待迁移数据表中是否产生了增量数据,如果是,则将所述增量数据同步到所述目标端的生产系统中;
第二迁移单元,用于在需要将所述源端的生产系统切换到所述目标端的生产系统时,关闭所述源端的生产系统,将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
可选地,
所述分类单元,用于从所述源端的生产系统中的所述待迁移数据表中,确定出待迁移的业务数据表,将所述源端的生产系统中数据量超过预设值的所述待迁移的业务数据表划分到所述第一类中,将所述源端的生产系统中的所述待迁移数据表中不属于所述第一类的待迁移数据表划分到所述第二类中。
可选地,
所述第一迁移单元,用于执行:
根据所述源端的生产系统的源数据库,生成DDL文件,其中,属于所述第一类的所述待迁移数据表保存在所述源数据库中;
根据所述DDL文件,在所述目标端的生产系统中创建目标数据库;
配置所述源数据库与所述目标数据库的复制关系;
根据所述复制关系,将属于所述第一类的所述待迁移数据表复制到所述目标数据库中。
可选地,
所述第一迁移单元,用于实时读取所述源数据库的数据库日志,根据所述数据库日志,判断所述源数据库中属于所述第一类的所述待迁移数据表中是否产生了所述增量数据,如果是,则将所述增量数据同步到所述目标数据库中。
可选地,
所述第二迁移单元,用于修改所述源端的生产系统的自带迁移工具的控制文件,使得所述自带迁移工具不迁移属于所述第一类的所述待迁移数据表,利用所述自带迁移工具将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
在本发明实施例中,在源端的生产系统运行的过程,将属于第一类的待迁移数据表复制到目标端的生产系统中,该过程不需要源端的生产系统停机,在生产系统运行过程中,如果属于第一类的待迁移数据表产生了增量数据,能够将这些增量数据同步到目标端的生产系统中,保证了目标端的生产系统的数据的完整,在需要切换生产系统时,关闭源端的生产系统,将属于第二类的待迁移数据表迁移到目标端的生产系统中,由于在源端的生产系统正常运行的过程中已经完成了一部分待迁移数据表的迁移,那么,关闭源端的生产系统进行数据迁移的过程所迁移的数据量变少,进而减少了生产系统的停机窗口。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据迁移的方法的流程图;
图2是本发明一实施例提供的另一种数据迁移的方法的流程图;
图3是本发明一实施例提供的一种数据迁移的装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种数据迁移的方法,该方法可以包括以下步骤:
步骤101:将源端的生产系统中的待迁移数据表分为第一类和第二类;
步骤102:将属于所述第一类的所述待迁移数据表复制到目标端的生产系统中;
步骤103:实时读取所述源端的生产系统中的数据库日志,根据所述数据库日志,判断所述源端的生产系统中属于所述第一类的所述待迁移数据表中是否产生了增量数据,如果是,则将所述增量数据同步到所述目标端的生产系统中;
步骤104:在需要将所述源端的生产系统切换到所述目标端的生产系统时,关闭所述源端的生产系统,将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
在本发明实施例中,在源端的生产系统运行的过程,将属于第一类的待迁移数据表复制到目标端的生产系统中,该过程不需要源端的生产系统停机,在生产系统运行过程中,如果属于第一类的待迁移数据表产生了增量数据,能够将这些增量数据同步到目标端的生产系统中,保证了目标端的生产系统的数据的完整,在需要切换生产系统时,关闭源端的生产系统,将属于第二类的待迁移数据表迁移到目标端的生产系统中,由于在源端的生产系统正常运行的过程中已经完成了一部分待迁移数据表的迁移,那么,关闭源端的生产系统进行数据迁移的过程所迁移的数据量变少,进而减少了生产系统的停机窗口。
在本发明一实施例中,所述将源端的生产系统中的待迁移数据表分为第一类和第二类,包括:
从所述源端的生产系统中的所述待迁移数据表中,确定出待迁移的业务数据表;
将所述源端的生产系统中数据量超过预设值的所述待迁移的业务数据表划分到所述第一类中;
将所述源端的生产系统中的所述待迁移数据表中不属于所述第一类的待迁移数据表划分到所述第二类中。
在本发明实施例中,该预设值可以是1亿行、2亿行、10亿行。属于第一类的待迁移数据表可以是数据量较大的数据表,这样,在关闭生产系统后,需要迁移的数据量变小,进而更加缩短了生产系统的停机窗口。
另外,生产系统的数据表一般包括:业务数据表和系统数据表,生产系统对系统数据表有保护机制,通过处理属于第一类的待迁移数据表来处理系统数据表比较困难,也不安全,可以会影响生产系统的正常运行。数据量较大的数据表主要是业务数据表,并且对业务数据表的迁移不会对生产系统的正常运行造成影响。
在本发明一实施例中,所述将属于所述第一类的所述待迁移数据表复制到目标端的生产系统中,包括:
根据所述源端的生产系统的源数据库,生成DDL文件,其中,属于所述第一类的所述待迁移数据表保存在所述源数据库中;
根据所述DDL文件,在所述目标端的生产系统中创建目标数据库;
配置所述源数据库与所述目标数据库的复制关系;
根据所述复制关系,将属于所述第一类的所述待迁移数据表复制到所述目标数据库中。
在本发明实施例中,基于源数据库生成DDL文件,通过该DDL文件能够在目标端创建一个目标数据库,该目标数据库是一个空库,该目标数据库与源数据库的配置相同,只是目标数据库中没有数据。该目标数据库中可以包括空的表,这些空的表与每个待迁移数据表对应,这些空的表中可以包括对应的待迁移数据表的字段,而字段下没有数据。通过复制关系,可以将空的表的字段下填上对应的数据,这样就实现了属于第一类的待迁移数据表的复制。
另外,属于第二类的待迁移数据表也可以迁移到该目标数据库中。
在本发明一实施例中,所述实时读取所述源端的生产系统中的数据库日志,根据所述数据库日志,判断所述源端的生产系统中属于所述第一类的所述待迁移数据表中是否产生了增量数据,如果是,则将所述增量数据同步到所述目标端的生产系统中,包括:
实时读取所述源数据库的数据库日志,根据所述数据库日志,判断所述源数据库中属于所述第一类的所述待迁移数据表中是否产生了所述增量数据,如果是,则将所述增量数据同步到所述目标数据库中。
在本发明实施例中,读取源数据库中的数据库日志,数据库日志中记录了对源数据库的所有操作,根据这些记录,能够确定出是否产生增量数据。举例来说,数据库日志中记录了向表1中增加一条数据,那么,表1中就产生了增量数据;数据库日志中记录了将表1中的第一条数据修改为A,那么,表1中也产生了增量数据,数据库日志中记录了将表1中的第二条数据删除,那么,表1中也产生了增量数据,其中,表1为一个属于第一类的待迁移数据表。
在本发明一实施例中,所述将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中,包括:
修改生产系统的自带迁移工具的控制文件,使得所述自带迁移工具不迁移属于所述第一类的所述待迁移数据表;
利用所述自带迁移工具将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
在本发明实施例中,通过生产系统自带迁移工具能够更加方便,更加安全地对系统数据库进行迁移。举例来说,生产系统为SAP系统,属于第二类的待迁移数据表通过SAP系统自带的SAP标准工具进行迁移。
如图2所示,本发明实施例提供了一种数据迁移的方法,包括:
步骤201:将源端的生产系统中的待迁移数据表分为第一类和第二类。
具体地,从所述源端的生产系统中的所述待迁移数据表中,确定出待迁移的业务数据表;将所述源端的生产系统中数据量超过预设值的所述待迁移的业务数据表划分到所述第一类中;将所述源端的生产系统中的所述待迁移数据表中不属于所述第一类的待迁移数据表划分到所述第二类中。
步骤202:根据所述源端的生产系统的源数据库,生成DDL文件,其中,属于所述第一类的所述待迁移数据表保存在所述源数据库中。
步骤203:根据所述DDL文件,在所述目标端的生产系统中创建目标数据库。
步骤204:配置所述源数据库与所述目标数据库的复制关系。
具体地,该复制关系中包括:源数据库中的表与目标数据库中的表的对应关系。例如:在复制关系中,源数据库中的表A1与目标数据库中的表A2对应,那么,将表A1中的数据复制到表A2中,表A1的增量数据也要同步到表A2中。
该复制关系中还可以目标数据库的位置,方便找到该目标数据库。
通过该复制关系能够确保源数据库和目标数据库可进行1:1的数据复制以及增量同步。
步骤205:根据所述复制关系,将属于所述第一类的所述待迁移数据表复制到所述目标数据库中。
步骤206:实时读取所述源数据库的数据库日志,根据所述数据库日志,判断所述源数据库中属于所述第一类的所述待迁移数据表中是否产生了所述增量数据,如果是,则将所述增量数据同步到所述目标数据库中。
步骤202-步骤206均可以在线进行,无需关闭生产系统,不会影响正常业务。
步骤207:在需要将所述源端的生产系统切换到所述目标端的生产系统时,关闭所述源端的生产系统,将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
具体地,在关闭生产系统之前,完成对属于第一类的待迁移数据表的迁移,在关闭生产系统之后,属于第一类的待迁移数据表也不会在产生增量数据,无需继续进行增量数据的同步。
在本发明实施例中,将待迁移数据表分别两类,属于第一类的待迁移数据表在生产系统正常运行的情况下,完成数据迁移,并能够进行增量数据的同步,在关闭生产系统后,需要迁移的数据量减少了,进而缩短了停机窗口,减少业务中断的影响,并为切换后的业务验证和回退机制保留充分的时间。
如图3所示,本发明实施例提供了一种数据迁移的装置,包括:
分类单元301,用于将源端的生产系统中的待迁移数据表分为第一类和第二类;
第一迁移单元302,用于将属于所述第一类的所述待迁移数据表复制到目标端的生产系统中,实时读取所述源端的生产系统中的数据库日志,根据所述数据库日志,判断所述源端的生产系统中属于所述第一类的所述待迁移数据表中是否产生了增量数据,如果是,则将所述增量数据同步到所述目标端的生产系统中;
第二迁移单元303,用于在需要将所述源端的生产系统切换到所述目标端的生产系统时,关闭所述源端的生产系统,将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
在本发明一实施例中,所述分类单元,用于从所述源端的生产系统中的所述待迁移数据表中,确定出待迁移的业务数据表,将所述源端的生产系统中数据量超过预设值的所述待迁移的业务数据表划分到所述第一类中,将所述源端的生产系统中的所述待迁移数据表中不属于所述第一类的待迁移数据表划分到所述第二类中。
在本发明一实施例中,所述第一迁移单元,用于执行:
根据所述源端的生产系统的源数据库,生成DDL文件,其中,属于所述第一类的所述待迁移数据表保存在所述源数据库中;
根据所述DDL文件,在所述目标端的生产系统中创建目标数据库;
配置所述源数据库与所述目标数据库的复制关系;
根据所述复制关系,将属于所述第一类的所述待迁移数据表复制到所述目标数据库中。
在本发明一实施例中,所述第一迁移单元,用于实时读取所述源数据库的数据库日志,根据所述数据库日志,判断所述源数据库中属于所述第一类的所述待迁移数据表中是否产生了所述增量数据,如果是,则将所述增量数据同步到所述目标数据库中。
在本发明一实施例中,所述第二迁移单元,用于修改所述源端的生产系统的自带迁移工具的控制文件,使得所述自带迁移工具不迁移属于所述第一类的所述待迁移数据表,利用所述自带迁移工具将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本发明各个实施例至少具有如下有益效果:
1、在本发明实施例中,在源端的生产系统运行的过程,将属于第一类的待迁移数据表复制到目标端的生产系统中,该过程不需要源端的生产系统停机,在生产系统运行过程中,如果属于第一类的待迁移数据表产生了增量数据,能够将这些增量数据同步到目标端的生产系统中,保证了目标端的生产系统的数据的完整,在需要切换生产系统时,关闭源端的生产系统,将属于第二类的待迁移数据表迁移到目标端的生产系统中,由于在源端的生产系统正常运行的过程中已经完成了一部分待迁移数据表的迁移,那么,关闭源端的生产系统进行数据迁移的过程所迁移的数据量变少,进而减少了生产系统的停机窗口。
2、在本发明实施例中,将待迁移数据表分别两类,属于第一类的待迁移数据表在生产系统正常运行的情况下,完成数据迁移,并能够进行增量数据的同步,在关闭生产系统后,需要迁移的数据量减少了,进而缩短了停机窗口,减少业务中断的影响,并为切换后的业务验证和回退机制保留充分的时间。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种数据迁移的方法,其特征在于,包括:
将源端的生产系统中的待迁移数据表分为第一类和第二类;
将属于所述第一类的所述待迁移数据表复制到目标端的生产系统中;
实时读取所述源端的生产系统中的数据库日志,根据所述数据库日志,判断所述源端的生产系统中属于所述第一类的所述待迁移数据表中是否产生了增量数据,如果是,则将所述增量数据同步到所述目标端的生产系统中;
在需要将所述源端的生产系统切换到所述目标端的生产系统时,关闭所述源端的生产系统,将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
2.根据权利要求1所述的方法,其特征在于,
所述将源端的生产系统中的待迁移数据表分为第一类和第二类,包括:
从所述源端的生产系统中的所述待迁移数据表中,确定出待迁移的业务数据表;
将所述源端的生产系统中数据量超过预设值的所述待迁移的业务数据表划分到所述第一类中;
将所述源端的生产系统中的所述待迁移数据表中不属于所述第一类的待迁移数据表划分到所述第二类中。
3.根据权利要求1所述的方法,其特征在于,
所述将属于所述第一类的所述待迁移数据表复制到目标端的生产系统中,包括:
根据所述源端的生产系统的源数据库,生成DDL文件,其中,属于所述第一类的所述待迁移数据表保存在所述源数据库中;
根据所述DDL文件,在所述目标端的生产系统中创建目标数据库;
配置所述源数据库与所述目标数据库的复制关系;
根据所述复制关系,将属于所述第一类的所述待迁移数据表复制到所述目标数据库中。
4.根据权利要求3所述的方法,其特征在于,
所述实时读取所述源端的生产系统中的数据库日志,根据所述数据库日志,判断所述源端的生产系统中属于所述第一类的所述待迁移数据表中是否产生了增量数据,如果是,则将所述增量数据同步到所述目标端的生产系统中,包括:
实时读取所述源数据库的数据库日志,根据所述数据库日志,判断所述源数据库中属于所述第一类的所述待迁移数据表中是否产生了所述增量数据,如果是,则将所述增量数据同步到所述目标数据库中。
5.根据权利要求1-4中任一所述的方法,其特征在于,
所述将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中,包括:
修改生产系统的自带迁移工具的控制文件,使得所述自带迁移工具不迁移属于所述第一类的所述待迁移数据表;
利用所述自带迁移工具将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
6.一种数据迁移的装置,其特征在于,包括:
分类单元,用于将源端的生产系统中的待迁移数据表分为第一类和第二类;
第一迁移单元,用于将属于所述第一类的所述待迁移数据表复制到目标端的生产系统中,实时读取所述源端的生产系统中的数据库日志,根据所述数据库日志,判断所述源端的生产系统中属于所述第一类的所述待迁移数据表中是否产生了增量数据,如果是,则将所述增量数据同步到所述目标端的生产系统中;
第二迁移单元,用于在需要将所述源端的生产系统切换到所述目标端的生产系统时,关闭所述源端的生产系统,将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
7.根据权利要求6所述的装置,其特征在于,
所述分类单元,用于从所述源端的生产系统中的所述待迁移数据表中,确定出待迁移的业务数据表,将所述源端的生产系统中数据量超过预设值的所述待迁移的业务数据表划分到所述第一类中,将所述源端的生产系统中的所述待迁移数据表中不属于所述第一类的待迁移数据表划分到所述第二类中。
8.根据权利要求6所述的装置,其特征在于,
所述第一迁移单元,用于执行:
根据所述源端的生产系统的源数据库,生成DDL文件,其中,属于所述第一类的所述待迁移数据表保存在所述源数据库中;
根据所述DDL文件,在所述目标端的生产系统中创建目标数据库;
配置所述源数据库与所述目标数据库的复制关系;
根据所述复制关系,将属于所述第一类的所述待迁移数据表复制到所述目标数据库中。
9.根据权利要求8所述的装置,其特征在于,
所述第一迁移单元,用于实时读取所述源数据库的数据库日志,根据所述数据库日志,判断所述源数据库中属于所述第一类的所述待迁移数据表中是否产生了所述增量数据,如果是,则将所述增量数据同步到所述目标数据库中。
10.根据权利要求6-9中任一所述的装置,其特征在于,
所述第二迁移单元,用于修改所述源端的生产系统的自带迁移工具的控制文件,使得所述自带迁移工具不迁移属于所述第一类的所述待迁移数据表,利用所述自带迁移工具将所述源端的生产系统中属于所述第二类的所述待迁移数据表迁移到所述目标端的生产系统中。
CN201910969350.1A 2019-10-12 2019-10-12 一种数据迁移的方法及装置 Pending CN110688370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910969350.1A CN110688370A (zh) 2019-10-12 2019-10-12 一种数据迁移的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910969350.1A CN110688370A (zh) 2019-10-12 2019-10-12 一种数据迁移的方法及装置

Publications (1)

Publication Number Publication Date
CN110688370A true CN110688370A (zh) 2020-01-14

Family

ID=69112507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969350.1A Pending CN110688370A (zh) 2019-10-12 2019-10-12 一种数据迁移的方法及装置

Country Status (1)

Country Link
CN (1) CN110688370A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934681A (zh) * 2022-12-24 2023-04-07 北京新数科技有限公司 一种异构关系数据库快速迁移方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760517A (zh) * 2016-02-25 2016-07-13 浪潮(北京)电子信息产业有限公司 将数据从Oracle数据库迁移至DB2数据库的方法和装置
CN107391634A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 数据迁移方法及装置
CN109684304A (zh) * 2018-12-13 2019-04-26 中国联合网络通信集团有限公司 数据迁移方法及装置
US20190179808A1 (en) * 2016-12-01 2019-06-13 Tencent Technology (Shenzhen) Company Limited Method and apparatus for data migration in database cluster, and storage medium
CN109992595A (zh) * 2019-04-11 2019-07-09 北京启迪区块链科技发展有限公司 异构数据库转换方法、装置、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760517A (zh) * 2016-02-25 2016-07-13 浪潮(北京)电子信息产业有限公司 将数据从Oracle数据库迁移至DB2数据库的方法和装置
US20190179808A1 (en) * 2016-12-01 2019-06-13 Tencent Technology (Shenzhen) Company Limited Method and apparatus for data migration in database cluster, and storage medium
CN107391634A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 数据迁移方法及装置
CN109684304A (zh) * 2018-12-13 2019-04-26 中国联合网络通信集团有限公司 数据迁移方法及装置
CN109992595A (zh) * 2019-04-11 2019-07-09 北京启迪区块链科技发展有限公司 异构数据库转换方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934681A (zh) * 2022-12-24 2023-04-07 北京新数科技有限公司 一种异构关系数据库快速迁移方法及装置

Similar Documents

Publication Publication Date Title
CN104657382B (zh) 用于MySQL主从服务器数据一致性检测的方法和装置
US11256715B2 (en) Data backup method and apparatus
CN107122360B (zh) 数据迁移系统和方法
CN104346454B (zh) 基于Oracle数据库的数据一致性校验方法
US9201738B2 (en) Method, computer readable storage medium and computer system for obtaining snapshots of data
US8996466B2 (en) Extend crud to support lifecyle management and business continuity
CN110383319A (zh) 大规模异构数据摄取和用户解析
US7610317B2 (en) Synchronization with derived metadata
CN107122355A (zh) 数据迁移系统和方法
CN106775602B (zh) 一种代码发布方法及装置
CN109189852A (zh) 一种数据同步的方法及用于数据同步的装置
CN106933823B (zh) 数据同步方法及装置
EP3091451A1 (en) Database rollback using wal
CN105446825A (zh) 数据库测试方法及装置
US7653663B1 (en) Guaranteeing the authenticity of the data stored in the archive storage
WO2022144828A1 (en) Target environment data seeding
CN111680017A (zh) 一种数据同步的方法及装置
CN114490677A (zh) 数据分析系统中的数据同步
CN112000349A (zh) 一种基于SaaS的数据升级方法、设备及介质
CN107491558B (zh) 元数据更新方法及装置
CN110688370A (zh) 一种数据迁移的方法及装置
US10528342B2 (en) Function tracking for source code files
EP2595069A2 (en) Replication server
CN115658391A (zh) 基于QianBase MPP数据库的WAL机制的备份恢复方法
CN111209138A (zh) 数据存储系统的运维方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114