CN104281704A - 数据库数据拷贝方法和装置 - Google Patents

数据库数据拷贝方法和装置 Download PDF

Info

Publication number
CN104281704A
CN104281704A CN201410568969.9A CN201410568969A CN104281704A CN 104281704 A CN104281704 A CN 104281704A CN 201410568969 A CN201410568969 A CN 201410568969A CN 104281704 A CN104281704 A CN 104281704A
Authority
CN
China
Prior art keywords
database
source
field
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410568969.9A
Other languages
English (en)
Inventor
李燕飞
宋立新
耿利达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinhua Reed (beijing) Network Technology Co Ltd
Beijing Xinhua Ruide Technology Co Ltd
Original Assignee
Xinhua Reed (beijing) Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinhua Reed (beijing) Network Technology Co Ltd filed Critical Xinhua Reed (beijing) Network Technology Co Ltd
Priority to CN201410568969.9A priority Critical patent/CN104281704A/zh
Publication of CN104281704A publication Critical patent/CN104281704A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据库数据拷贝方法和装置。其中,该方法包括:根据预先设置的源数据库的第一配置参数和目标数据库的第二配置参数,建立源数据库与目标数据库的连接;根据第一配置参数中的源数据库的第一数据库类型和第二配置参数中的目标数据库的第二数据库类型,获取第一数据库类型与第一数据库类型间的数据库差异对照表;根据源数据库的源数据表与目标数据库的目标数据表,生成包含源数据库与目标数据库间数据表对应关系的数据库关系对照表;根据数据库差异对照表和数据库关系对照表,复制源数据库中的数据内容至目标数据库的相应位置。本发明解决了现有技术中源数据库与目标数据库表间对应关系无法自动匹配的技术问题。

Description

数据库数据拷贝方法和装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种数据库数据拷贝方法和装置。
背景技术
随着计算机网络技术的不断发展,使用计算机数据库的应用越来越广泛,并且容量也随着时间的推移而成倍的增长,例如:社交网络、手机程序、即时聊天软件等。
目前市场关系型数据库众多,通常会将数据库中的数据内容在常用的关系型数据库间进行数据迁移。但是因为每种关系型数据库的数据类型都有所不同,在进行数据迁移的过程中,对两个数据库表间的对应关系需要手工指定,无法实现自动匹配。并且,数据库拷贝软件通常无法对两种不同数据类型的数据直接进行转换。
针对现有技术中源数据库与目标数据库表间对应关系无法自动匹配的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据库数据拷贝方法和装置,以至少解决现有技术中源数据库与目标数据库表间对应关系无法自动匹配的技术问题。
根据本发明实施例的一个方面,提供了一种数据库数据拷贝方法,包括:根据预先设置的源数据库的第一配置参数和目标数据库的第二配置参数,建立源数据库与目标数据库的连接;根据第一配置参数中的源数据库的第一数据库类型和第二配置参数中的目标数据库的第二数据库类型,获取第一数据库类型与第一数据库类型间的数据库差异对照表;根据源数据库的源数据表与目标数据库的目标数据表,生成包含源数据库与目标数据库间数据表对应关系的数据库关系对照表;根据数据库差异对照表和数据库关系对照表,复制源数据库中的数据内容至目标数据库的相应位置。
根据本发明实施例的另一方面,还提供了一种数据库数据拷贝装置,包括:连接模块,用于根据预先设置的源数据库的第一配置参数和目标数据库的第二配置参数,建立源数据库与目标数据库的连接;第一获取模块,用于根据第一配置参数中的源数据库的第一数据库类型和第二配置参数中的目标数据库的第二数据库类型,获取第一数据库类型与第一数据库类型间的数据库差异对照表;生成模块,用于根据源数据库的源数据表与目标数据库的目标数据表,生成包含源数据库与目标数据库间数据表对应关系的数据库关系对照表;拷贝模块,用于根据数据库差异对照表和数据库关系对照表,复制源数据库中的数据内容至目标数据库的相应位置。
在本发明实施例中,采用根据预先设置的源数据库的第一配置参数和目标数据库的第二配置参数,建立源数据库与目标数据库的连接;根据第一配置参数中的源数据库的第一数据库类型和第二配置参数中的目标数据库的第二数据库类型,获取第一数据库类型与第一数据库类型间的数据库差异对照表;根据源数据库的源数据表与目标数据库的目标数据表,生成包含源数据库与目标数据库间数据表对应关系的数据库关系对照表;根据数据库差异对照表和数据库关系对照表,复制源数据库中的数据内容至目标数据库的相应位置的方式,进而解决了现有技术中源数据库与目标数据库表间对应关系无法自动匹配的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例一的一种数据库数据拷贝方法的流程图;
图2是根据本发明实施例一的一种优选的数据库数据拷贝方法的流程图;
图3是根据本发明实施例二的一种数据库数据拷贝装置结构示意图;以及
图4是根据本发明实施例二的一种优选的数据库数据拷贝装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种数据库数据拷贝方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在对数据库数据在两个相同类型或不同类型的关系数据库间进行数据迁移的过程当中使用,图1是根据本发明实施例一的一种数据库数据拷贝方法的流程图。如图1所示,该数据库数据拷贝方法可以如下实施步骤:
步骤S10,根据预先设置的源数据库的第一配置参数和目标数据库的第二配置参数,建立源数据库与目标数据库的连接。
具体的,上述步骤S10,根据第一配置参数和第二配置参数中的数据库所在主机的网络IP地址,分别与源数据库和目标数据库所在的主机建立网络连接。并且,根据与源数据库和目标数据库对应的登陆账号和登录密码,通过访问权限的认证,建立源数据库与目标数据库间的访问关系。
步骤S12,根据第一配置参数中的源数据库的第一数据库类型和第二配置参数中的目标数据库的第二数据库类型,获取第一数据库类型与第一数据库类型间的数据库差异对照表。
具体的,上述步骤S12,根据源数据库和目标数据库的类型,获取预先设置好的与两种数据库类型对应的数据库类型的差异对照表。
在实际应用中,可以根据不同的数据库类型,分别设置包含不同数据类型间的数据转换规则的数据库类型的差异对照表。例如,MySQL数据库向Oracle数据库转换的转换规则。
步骤S14,根据源数据库的源数据表与目标数据库的目标数据表,生成包含源数据库与目标数据库间数据表对应关系的数据库关系对照表。
具体的,上述步骤S14,根据源数据库中的源数据库表,通过手动指定或者根据源数据表名称自动匹配的方式,确定源数据库中源数据表与目标数据库中目标数据表间的对应关系。根据对应关系,生成数据库关系对照表。
步骤S16,根据数据库差异对照表和数据库关系对照表,复制源数据库中的数据内容至目标数据库的相应位置。
具体的,上述步骤S16,依次读取源数据库源数据表中的字段内容,将字段内容依照数据库差异对照表和数据库关系对照表,转化为相应的数据类型存入相应的目标数据表中。
本申请上述实施例提供的方案,通过上述步骤S10至步骤S16,根据两个数据库间的差异对照表和数据表间的对应关系,完成数据库间的数据拷贝转换与拷贝过程。
在具体实施过程中,以在操作linux数据库服务器上完成异同数据库间的数据迁移的工具为例,数据库服务器的linux系统中需要安装有JDK环境,用户需要通过该工具完成数据库类型选择和账号设置。
在操作时,构建表间(Table)映射,确认源数据表及目的数据表数据传送规则,规则保证目的数据表大于等于源数据表,从而保证目的数据表100%成功接收传送数据。
第一步:在启动命令后,首先通过选择的方式选择源/目的数据库类型,完成驱动程序的加载。并依次完成账号及密码访问权限的认证,建立访问关系。
第二步:按提示键入源数据表名称和目标数据表名称,系统自动按源数据表字段顺序和目的数据表字段顺序展现字段映射关系,提示用户手动进行字段映射关系的指定。同时也可采用“set auto”命令,由系统以精度优先算法(完全匹配《字段名,类型,长度》,名称匹配《字段名》,模糊匹配)自动完成映射关系。
第三步:使用send命令,完成数据的传送。
优选的,本申请上述实施例中,在第一配置参数和第二配置参数至少包括数据库类型、主机IP地址、登录账号和登录密码时,步骤S10根据预先设置的源数据库的第一配置参数和目标数据库的第二配置参数,建立源数据库与目标数据库的连接的步骤包括:
步骤S101,根据源数据库的第一主机IP地址和目标数据库的第二主机IP地址,建立源数据库和目标数据库的通讯连接。
步骤S103,根据源数据库的第一登陆账号和第一登录密码,获得访问源数据库的访问权限。
步骤S105,根据目标数据库的第二登录账号和第二登录密码,获得访问目标数据库的访问权限。
本申请上述实施例提供的方案,通过上述步骤S101至步骤S105,通过读取预先设置的第一配置参数和第二配置参数,获取参数中的各个参数信息,依次完成与两个数据库所在的主机建立通讯连接、分别获取源数据库和目标数据库的访问权限的步骤,实现建立源数据库与目标数据库的连接的目的。
优选的,本申请上述实施例中,步骤S14根据源数据库的源数据表与目标数据库的目标数据表,生成包含源数据库与目标数据库间数据表对应关系的数据库关系对照表的步骤包括:
步骤S141,获取源数据库的源数据表名称和目标数据库的目标数据表名称。
步骤S143,根据源数据表名称和目标数据表名称,对源数据表与目标数据表进行匹配。
步骤S145,根据源数据表与目标数据表的匹配结果,生成数据库关系对照表。
本申请上述实施例提供的方案,通过上述步骤S141至步骤S145,通过获取源数据库与目标数据库的数据表名称,对源数据表和目标数据表进行匹配,根据匹配结果,生成数据库关系对照表。其中,对源数据表和目标数据表进行匹配的匹配方式可以包括两种,一种是通过提示用户手动进行数据表关系的指定。另一种是系统通过精度优先算法自动完成映射关系的指定。
优选的,本申请上述实施例中,步骤S16根据数据库差异对照表和数据库关系对照表,复制源数据库中的数据内容至目标数据库相应的位置的步骤包括:
步骤S161,读取数据库关系对照表,获得源数据表与目标数据表的对应关系。
步骤S163,读取差异对照表,获得源数据库和目标数据库的数据类型对照关系。
步骤S165,读取源数据表中的字段内容。
步骤S167,根据源数据表与目标数据表的对应关系,将源数据表中的字段内容按照数据类型对照关系转换为与目标数据库对应的数据类型。
步骤S169,将字段内容写入到目标数据表中。
本申请上述实施例提供的方案,通过上述步骤S161至步骤S169,首先,分别读取数据库关系对照表和差异对照表,分别获得源数据表与目标数据表的对应关系以及源数据库和目标数据库的数据类型对照关系。然后对源数据表中的字段内容进行读取,根据源数据表与目标数据表的对应关系,将源数据表中的字段内容按照数据类型对照关系转换为与目标数据库对应的数据类型。最后,将字段内容写入到目标数据库中。
在实际应用中,以在操作linux数据库服务器上完成异同数据库间的数据迁移的工具为例,当采用DBSend命令,数据迁移的工具可以分两步完成数据的传送,即初始化数据库连接和下达传送指令。
同时,传输数据给接收端之前,系统会自动进行匹配度检测,并以列表的形式展示预警结果,如果在匹配时出现“ERROR”错误字样,系统会自动引导数据迁移的工具进入字段匹配子系统,并可采用自动匹配模式和手动匹配模式来完成“ERROR”错误的消除;如果在匹配时出现“WARNING”警告字样或无任何提示时,可直接键入“Y”继续完成数据的传送,也可键入“N”进入字段匹配子系统。
优选的,如图2所示,本申请上述实施例中,在步骤S14根据源数据库的源数据表与目标数据库的目标数据表,生成包含源数据库与目标数据库间数据表对应关系的数据库关系对照表之后,方法还包括:
步骤S151,读取数据库关系对照表中源数据表与目标数据表的对应关系。
步骤S153,根据源数据表中源字段和目标数据表中目标字段的字段信息,计算源字段与目标字段间的字段匹配度,其中,字段信息至少包括:字段名称、字段类型、字段长度。
步骤S155,对字段匹配度与预先设置的阈值进行比对,确定源字段与目标字段的对应关系;
其中,当字段匹配度大于等于预先设置的阈值时,确定源字段与目标字段的对应关系;
当字段匹配度小于预先设置的阈值时,对源字段与未进行匹配目标字段进行提示。
本申请上述实施例提供的方案,通过上述步骤S151至步骤S155,对源数据表和目标数据表中的字段信息进行自动匹配,首先至少获取字段信息中的字段名称、字段类型和字段长度。根据这些条件,对源字段与目标字段进行匹配度计算。通过匹配度与预先设置的用于验证匹配度的阈值进行比较。当字段匹配度大于等于预先设置的阈值时,确定源字段与目标字段的对应关系;当字段匹配度小于预先设置的阈值时,将源字段与未进行匹配目标字段进行提示,提示用户进行手动指定。
当然,也可以通过按照排列顺序对源数据表中源字段与目标数据表中各个目标字段逐一进行匹配度计算。选择出匹配度最高的字段选为目标字段,确定源字段与目标字段的对应关系。
优选的,本申请上述实施例中,在步骤S16根据数据库差异对照表和数据库关系对照表,复制源数据库中的数据内容至目标数据库的相应位置的方法包括:
步骤S160,根据源数据库中的数据表,创建至少一个与源数据库中数据表单独对应的数据迁移任务进程。
本申请上述实施例提供的方案,通过上述步骤S160,在复制过程中,为每个表单创建单独的数据迁移进程,实现多个表单并行处理的多线程并行处理以提高迁移效率。
具体的,本方法采用命令行模式,以低消耗多通道传输模块,对小数量数据快速迁移。以安全警告,高亮显示视觉提醒等显著的特点来协助用户来高效的完成数据的基本关系映射及转存工作。同时也是一种数据库间数据转存利器。
其中,初始化数据库连接过程:第一步,选择源数据库类型,这里包括常用的数据库,比如:Oracle;键入host主机IP、账号和密码,完成源数据库的连接;第二步,选择目标数据库类型;键入host主机IP、账号和密码,完成目标数据库的连接。
数据传送的处理过程:第一步,用SEND命令开始数据的传送,并采用源数据库与目标数据库的类型差异关系参照表完成数据的转换及处理,并将源数据表数据以页式的读取方式依次读入(默认缓存条数是10000条/页),批量写入目标数据库中。
格式:Send<源表><目标表>
字段匹配处理过程:主键匹配可以分为几种情况,按源表数据直接写入、采用MAX+1和GUID,自动编号可直接设置忽略。自动模式以精度优先算法(完全匹配《字段名,类型,长度》,名称匹配《字段名》,模糊匹配)自动完成映射关系。手动匹配通过set命令完成映射。
实施例2
根据本发明实施例,还提供了一种用于实施上述方法实施例的装置实施例。图3是根据本发明实施例二的一种数据库数据拷贝装置的示意图。
如图3所示,该数据库数据拷贝装置可以包括:连接模块21、第一获取模块23、生成模块25和拷贝模块27。
其中,连接模块21,用于根据预先设置的源数据库的第一配置参数和目标数据库的第二配置参数,建立源数据库与目标数据库的连接。
具体的,通过上述连接模块21,根据第一配置参数和第二配置参数中的数据库所在主机的网络IP地址,分别与源数据库和目标数据库所在的主机建立网络连接。并且,根据与源数据库和目标数据库对应的登陆账号和登录密码,通过访问权限的认证,建立源数据库与目标数据库间的访问关系。
第一获取模块23,用于根据第一配置参数中的源数据库的第一数据库类型和第二配置参数中的目标数据库的第二数据库类型,获取第一数据库类型与第一数据库类型间的数据库差异对照表。
具体的,通过上述第一获取模块23,根据源数据库和目标数据库的类型,获取预先设置好的与两种数据库类型对应的数据库类型的差异对照表。
在实际应用中,可以根据不同的数据库类型,分别设置包含不同数据类型间的数据转换规则的数据库类型的差异对照表。例如,MySQL数据库向Oracle数据库转换的转换规则。
生成模块25,用于根据源数据库的源数据表与目标数据库的目标数据表,生成包含源数据库与目标数据库间数据表对应关系的数据库关系对照表。
具体的,通过上述生成模块25,根据源数据库中的源数据库表,通过手动指定或者根据源数据表名称自动匹配的方式,确定源数据库中源数据表与目标数据库中目标数据表间的对应关系。根据对应关系,生成数据库关系对照表。
拷贝模块27,用于根据数据库差异对照表和数据库关系对照表,复制源数据库中的数据内容至目标数据库的相应位置。
具体的,通过上述拷贝模块27,依次读取源数据库源数据表中的字段内容,将字段内容依照数据库差异对照表和数据库关系对照表,转化为相应的数据类型存入相应的目标数据表中。
本申请上述实施例提供的方案,通过上述连接模块21、第一获取模块23、生成模块25和拷贝模块27,根据两个数据库间的差异对照表和数据表间的对应关系,完成数据库间的数据拷贝转换与拷贝过程。
在具体实施过程中,以在操作linux数据库服务器上完成异同数据库间的数据迁移的工具为例,数据库服务器的linux系统中需要安装有JDK环境,用户需要通过该工具完成数据库类型选择和账号设置。
在操作时,构建表间(Table)映射,确认源数据表及目的数据表数据传送规则,规则保证目的数据表大于等于源数据表,从而保证目的数据表100%成功接收传送数据。
第一步:在启动命令后,首先通过选择的方式选择源/目的数据库类型,完成驱动程序的加载。并依次完成账号及密码访问权限的认证,建立访问关系。
第二步:按提示键入源数据表名称和目标数据表名称,系统自动按源数据表字段顺序和目的数据表字段顺序展现字段映射关系,提示用户手动进行字段映射关系的指定。同时也可采用“set auto”命令,由系统以精度优先算法(完全匹配《字段名,类型,长度》,名称匹配《字段名》,模糊匹配)自动完成映射关系。
第三步:使用send命令,完成数据的传送。
优选的,本申请上述实施例中,在第一配置参数和第二配置参数至少包括数据库类型、主机IP地址、登录账号和登录密码时,连接模块21包括:子连接模块211、第一子获取模块213和第二子获取模块215。
其中,子连接模块211,用于根据源数据库的第一主机IP地址和目标数据库的第二主机IP地址,建立源数据库和目标数据库的通讯连接。
第一子获取模块213,用于根据源数据库的第一登陆账号和第一登录密码,获得访问源数据库的访问权限。
第二子获取模块215,用于根据目标数据库的第二登录账号和第二登录密码,获得访问目标数据库的访问权限。
本申请上述实施例提供的方案,上述子连接模块211、第一子获取模块213和第二子获取模块215,通过读取预先设置的第一配置参数和第二配置参数,获取参数中的各个参数信息,依次完成与两个数据库所在的主机建立通讯连接、分别获取源数据库和目标数据库的访问权限的步骤,实现建立源数据库与目标数据库的连接的目的。
优选的,本申请上述实施例中,生成模块25包括:第三子获取模块251、子匹配模块253和子生成模块255。
其中,第三子获取模块251,用于获取源数据库的源数据表名称和目标数据库的目标数据表名称。
子匹配模块253,用于根据源数据表名称和目标数据表名称,对源数据表与目标数据表进行匹配。
子生成模块255,用于根据源数据表与目标数据表的匹配结果,生成数据库关系对照表。
本申请上述实施例提供的方案,上述第三子获取模块251、子匹配模块253和子生成模块255,通过获取源数据库与目标数据库的数据表名称,对源数据表和目标数据表进行匹配,根据匹配结果,生成数据库关系对照表。其中,对源数据表和目标数据表进行匹配的匹配方式可以包括两种,一种是通过提示用户手动进行数据表关系的指定。另一种是系统通过精度优先算法自动完成映射关系的指定。
优选的,本申请上述实施例中,拷贝模块27包括:第四子获取模块271、第五子获取模块273、子缓存模块275、子处理模块277和子写入模块279。
其中,第四子获取模块271,用于读取数据库关系对照表,获得源数据表与目标数据表的对应关系。
第五子获取模块273,用于读取差异对照表,获得源数据库和目标数据库的数据类型对照关系。
子缓存模块275,用于读取源数据表中的字段内容。
子处理模块277,用于根据源数据表与目标数据表的对应关系,将源数据表中的字段内容按照数据类型对照关系转换为与目标数据库对应的数据类型。
子写入模块279,用于将字段内容写入到目标数据表中。
本申请上述实施例提供的方案,通过上述第四子获取模块271、第五子获取模块273、子缓存模块275、子处理模块277和子写入模块279,首先,分别读取数据库关系对照表和差异对照表,分别获得源数据表与目标数据表的对应关系以及源数据库和目标数据库的数据类型对照关系。然后对源数据表中的字段内容进行读取,根据源数据表与目标数据表的对应关系,将源数据表中的字段内容按照数据类型对照关系转换为与目标数据库对应的数据类型。最后,将字段内容写入到目标数据库中。
在实际应用中,以在操作linux数据库服务器上完成异同数据库间的数据迁移的工具为例,当采用DBSend命令,数据迁移的工具可以分两步完成数据的传送,即初始化数据库连接和下达传送指令。
同时,传输数据给接收端之前,系统会自动进行匹配度检测,并以列表的形式展示预警结果,如果在匹配时出现“ERROR”错误字样,系统会自动引导数据迁移的工具进入字段匹配子系统,并可采用自动匹配模式和手动匹配模式来完成“ERROR”错误的消除;如果在匹配时出现“WARNING”警告字样或无任何提示时,可直接键入“Y”继续完成数据的传送,也可键入“N”进入字段匹配子系统。
优选的,如图4所示,本申请上述实施例中,装置还包括:第二获取模块261、处理模块263和确定模块265。
其中,第二获取模块261,用于读取数据库关系对照表中源数据表与目标数据表的对应关系。
处理模块263,用于根据源数据表中源字段和目标数据表中目标字段的字段信息,计算源字段与目标字段间的字段匹配度,其中,字段信息至少包括:字段名称、字段类型、字段长度。
确定模块265,用于对字段匹配度与预先设置的阈值进行比对,确定源字段与目标字段的对应关系。
其中,当字段匹配度大于等于预先设置的阈值时,确定源字段与目标字段的对应关系;
当字段匹配度小于预先设置的阈值时,对源字段与未进行匹配目标字段进行提示。
本申请上述实施例提供的方案,通过上述第二获取模块261、处理模块263和确定模块265,对源数据表和目标数据表中的字段信息进行自动匹配,首先至少获取字段信息中的字段名称、字段类型和字段长度。根据这些条件,对源字段与目标字段进行匹配度计算。通过匹配度与预先设置的用于验证匹配度的阈值进行比较。当字段匹配度大于等于预先设置的阈值时,确定源字段与目标字段的对应关系;当字段匹配度小于预先设置的阈值时,将源字段与未进行匹配目标字段进行提示,提示用户进行手动指定。
当然,也可以通过按照排列顺序对源数据表中源字段与目标数据表中各个目标字段逐一进行匹配度计算。选择出匹配度最高的字段选为目标字段,确定源字段与目标字段的对应关系。
优选的,本申请上述实施例中,拷贝模块27还包括:创建模块270。
创建模块270,用于根据源数据库中的数据表,创建至少一个与源数据库中数据表单独对应的数据迁移任务进程。
本申请上述实施例提供的方案,通过上述创建模块270,在复制过程中,为每个表单创建单独的数据迁移进程,实现多个表单并行处理的多线程并行处理以提高迁移效率。
具体的,本方法采用命令行模式,以低消耗多通道传输模块,对小数量数据快速迁移。以安全警告,高亮显示视觉提醒等显著的特点来协助用户来高效的完成数据的基本关系映射及转存工作。同时也是一种数据库间数据转存利器。
其中,初始化数据库连接过程:第一步,选择源数据库类型,这里包括常用的数据库,比如:Oracle;键入host主机IP、账号和密码,完成源数据库的连接;第二步,选择目标数据库类型;键入host主机IP、账号和密码,完成目标数据库的连接。
数据传送的处理过程:第一步,用SEND命令开始数据的传送,并采用源数据库与目标数据库的类型差异关系参照表完成数据的转换及处理,并将源数据表数据以页式的读取方式依次读入(默认缓存条数是10000条/页),批量写入目标数据库中。
格式:Send<源表><目标表>
字段匹配处理过程:主键匹配可以分为几种情况,按源表数据直接写入、采用MAX+1和GUID,自动编号可直接设置忽略。自动模式以精度优先算法(完全匹配《字段名,类型,长度》,名称匹配《字段名》,模糊匹配)自动完成映射关系。手动匹配通过set命令完成映射。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、移动终端、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种数据库数据拷贝方法,其特征在于,包括:
根据预先设置的源数据库的第一配置参数和目标数据库的第二配置参数,建立所述源数据库与所述目标数据库的连接;
根据所述第一配置参数中的所述源数据库的第一数据库类型和所述第二配置参数中的所述目标数据库的第二数据库类型,获取所述第一数据库类型与所述第一数据库类型间的数据库差异对照表;
根据所述源数据库的源数据表与所述目标数据库的目标数据表,生成包含所述源数据库与所述目标数据库间数据表对应关系的数据库关系对照表;
根据所述数据库差异对照表和所述数据库关系对照表,复制所述源数据库中的数据内容至所述目标数据库的相应位置。
2.根据权利要求1所述方法,其特征在于,所述第一配置参数和所述第二配置参数至少包括数据库类型、主机IP地址、登录账号和登录密码时,所述根据预先设置的源数据库的第一配置参数和目标数据库的第二配置参数,建立所述源数据库与所述目标数据库的连接的步骤包括:
根据所述源数据库的第一主机IP地址和所述目标数据库的第二主机IP地址,建立所述源数据库和所述目标数据库的通讯连接;
根据所述源数据库的第一登陆账号和第一登录密码,获得访问所述源数据库的访问权限;
根据所述目标数据库的第二登录账号和第二登录密码,获得访问所述目标数据库的访问权限。
3.根据权利要求1所述方法,其特征在于,所述根据所述源数据库的源数据表与所述目标数据库的所述目标数据表,生成包含所述源数据库与所述目标数据库间数据表对应关系的数据库关系对照表的步骤包括:
获取所述源数据库的源数据表名称和所述目标数据库的所述目标数据表名称;
根据所述源数据表名称和所述目标数据表名称,对所述源数据表与所述目标数据表进行匹配;
根据所述源数据表与所述目标数据表的匹配结果,生成所述数据库关系对照表。
4.根据权利要求1所述方法,其特征在于,根据所述数据库差异对照表和所述数据库关系对照表,复制所述源数据库中的数据内容至所述目标数据库相应的位置的步骤包括:
读取所述数据库关系对照表,获得所述源数据表与所述目标数据表的对应关系;
读取所述差异对照表,获得所述源数据库和所述目标数据库的数据类型对照关系;
读取所述源数据表中的字段内容;
根据所述源数据表与所述目标数据表的对应关系,将所述源数据表中的字段内容按照所述数据类型对照关系转换为与所述目标数据库对应的数据类型;
将所述字段内容写入到所述目标数据表中。
5.根据权利要求1所述方法,其特征在于,在所述根据所述源数据库的源数据表与所述目标数据库的所述目标数据表,生成包含所述源数据库与所述目标数据库间数据表对应关系的数据库关系对照表之后,所述方法还包括:
读取所述数据库关系对照表中所述源数据表与所述目标数据表的对应关系;
根据所述源数据表中源字段和所述目标数据表中目标字段的字段信息,计算所述源字段与所述目标字段间的字段匹配度,其中,所述字段信息至少包括:字段名称、字段类型、字段长度;
对所述字段匹配度与预先设置的阈值进行比对,确定所述源字段与所述目标字段的对应关系;
其中,当所述字段匹配度大于等于所述预先设置的阈值时,确定所述源字段与所述目标字段的对应关系;
当所述字段匹配度小于所述预先设置的阈值时,对所述源字段与未进行匹配目标字段进行提示。
6.根据权利要求1至5中任意一项所述方法,其特征在于,根据所述数据库差异对照表和所述数据库关系对照表,复制所述源数据库中的数据内容至所述目标数据库的相应位置的方法包括:
根据所述源数据库中的数据表,创建至少一个与所述源数据库中数据表单独对应的数据迁移任务进程。
7.一种数据库数据拷贝装置,其特征在于,包括:
连接模块,用于根据预先设置的源数据库的第一配置参数和目标数据库的第二配置参数,建立所述源数据库与所述目标数据库的连接;
第一获取模块,用于根据所述第一配置参数中的所述源数据库的第一数据库类型和所述第二配置参数中的所述目标数据库的第二数据库类型,获取所述第一数据库类型与所述第一数据库类型间的数据库差异对照表;
生成模块,用于根据所述源数据库的源数据表与所述目标数据库的目标数据表,生成包含所述源数据库与所述目标数据库间数据表对应关系的数据库关系对照表;
拷贝模块,用于根据所述数据库差异对照表和所述数据库关系对照表,复制所述源数据库中的数据内容至所述目标数据库的相应位置。
8.根据权利要求7所述装置,其特征在于,在所述第一配置参数和所述第二配置参数至少包括数据库类型、主机IP地址、登录账号和登录密码时,所述连接模块包括:
子连接模块,用于根据所述源数据库的第一主机IP地址和所述目标数据库的第二主机IP地址,建立所述源数据库和所述目标数据库的通讯连接;
第一子获取模块,用于根据所述源数据库的第一登陆账号和第一登录密码,获得访问所述源数据库的访问权限;
第二子获取模块,用于根据所述目标数据库的第二登录账号和第二登录密码,获得访问所述目标数据库的访问权限。
9.根据权利要求7所述装置,其特征在于,所述生成模块包括:
第三子获取模块,用于获取所述源数据库的源数据表名称和所述目标数据库的所述目标数据表名称;
子匹配模块,用于根据所述源数据表名称和所述目标数据表名称,对所述源数据表与所述目标数据表进行匹配;
子生成模块,用于根据所述源数据表与所述目标数据表的匹配结果,生成所述数据库关系对照表。
10.根据权利要求7所述装置,其特征在于,所述拷贝模块包括:
第四子获取模块,用于读取所述数据库关系对照表,获得所述源数据表与所述目标数据表的对应关系;
第五子获取模块,用于读取所述差异对照表,获得所述源数据库和所述目标数据库的数据类型对照关系;
子缓存模块,用于读取所述源数据表中的字段内容;
子处理模块,用于根据所述源数据表与所述目标数据表的对应关系,将所述源数据表中的字段内容按照所述数据类型对照关系转换为与所述目标数据库对应的数据类型;
子写入模块,用于将所述字段内容写入到所述目标数据表中。
11.根据权利要求7所述装置,其特征在于,所述装置还包括:
第二获取模块,用于读取所述数据库关系对照表中所述源数据表与所述目标数据表的对应关系;
处理模块,用于根据所述源数据表中源字段和所述目标数据表中目标字段的字段信息,计算所述源字段与所述目标字段间的字段匹配度,其中,所述字段信息至少包括:字段名称、字段类型、字段长度;
确定模块,用于对所述字段匹配度与预先设置的阈值进行比对,确定所述源字段与所述目标字段的对应关系;
其中,当所述字段匹配度大于等于所述预先设置的阈值时,确定所述源字段与所述目标字段的对应关系;
当所述字段匹配度小于所述预先设置的阈值时,对所述源字段与未进行匹配目标字段进行提示。
12.根据权利要求7至11中任意一项所述装置,其特征在于,所述拷贝模块还包括:
创建模块,用于根据所述源数据库中的数据表,创建至少一个与所述源数据库中数据表单独对应的数据迁移任务进程。
CN201410568969.9A 2014-10-22 2014-10-22 数据库数据拷贝方法和装置 Pending CN104281704A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410568969.9A CN104281704A (zh) 2014-10-22 2014-10-22 数据库数据拷贝方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410568969.9A CN104281704A (zh) 2014-10-22 2014-10-22 数据库数据拷贝方法和装置

Publications (1)

Publication Number Publication Date
CN104281704A true CN104281704A (zh) 2015-01-14

Family

ID=52256577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410568969.9A Pending CN104281704A (zh) 2014-10-22 2014-10-22 数据库数据拷贝方法和装置

Country Status (1)

Country Link
CN (1) CN104281704A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279261A (zh) * 2015-10-23 2016-01-27 北京京东尚科信息技术有限公司 动态可扩展数据库归档方法和系统
CN105373599A (zh) * 2015-10-28 2016-03-02 北京汇商融通信息技术有限公司 基于多种数据存储平台的数据迁移系统
CN106372857A (zh) * 2016-08-31 2017-02-01 上海锐鸿通信技术有限公司 自动创建项目的方法和系统
CN107122361A (zh) * 2016-02-24 2017-09-01 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN107545044A (zh) * 2017-08-15 2018-01-05 北京微影时代科技有限公司 一种数据表建立方法、电子设备及存储介质
CN108241679A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 数据处理方法及装置
CN108460108A (zh) * 2018-02-07 2018-08-28 广州和辰信息科技有限公司 一种数据库数据整理迁移方法、系统以及存储介质
CN108595541A (zh) * 2018-04-08 2018-09-28 上海康斐信息技术有限公司 一种数据抽取质量的测试方法及系统
CN108959456A (zh) * 2018-06-15 2018-12-07 珠海格力电器股份有限公司 一种自动恢复补全数据的方法
CN109254960A (zh) * 2018-08-24 2019-01-22 中国人民银行清算总中心 一种数据库海量数据的迁移方法及装置
CN109669977A (zh) * 2018-11-30 2019-04-23 金蝶软件(中国)有限公司 跨数据库的数据接入方法、装置、计算机设备及存储介质
CN109829012A (zh) * 2018-12-13 2019-05-31 山东亚华电子股份有限公司 数据同步的方法和装置
CN111090635A (zh) * 2019-11-29 2020-05-01 北京明略软件系统有限公司 一种预警方案的配置方法、装置及计算机可读存储介质
CN111259023A (zh) * 2020-01-13 2020-06-09 泰康保险集团股份有限公司 一种数据调度方法、装置、电子设备及存储介质
CN111291049A (zh) * 2020-01-19 2020-06-16 软通动力信息技术有限公司 一种创建表的方法、装置、设备和存储介质
CN111367895A (zh) * 2020-03-31 2020-07-03 中国建设银行股份有限公司 数据迁移方法及装置
CN111581184A (zh) * 2020-04-26 2020-08-25 中国工商银行股份有限公司 基于数据库迁移的语义对比方法及装置
CN112650799A (zh) * 2019-10-12 2021-04-13 中国石油化工股份有限公司 用于分析地震解释数据文本的方法和装置
CN113434482A (zh) * 2021-06-28 2021-09-24 平安国际智慧城市科技股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN114661723A (zh) * 2022-03-29 2022-06-24 杭州数梦工场科技有限公司 数据处理方法及装置、电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063491A (zh) * 2010-12-30 2011-05-18 浪潮集团山东通用软件有限公司 可实现跨不同类型数据库数据备份恢复的数据结构和实现方法
CN102393860A (zh) * 2011-12-06 2012-03-28 方正国际软件有限公司 数据库数据迁移系统
CN102508929A (zh) * 2011-12-01 2012-06-20 浪潮(北京)电子信息产业有限公司 实现异构数据库数据迁移的系统、装置及方法
CN103020268A (zh) * 2012-12-26 2013-04-03 大唐软件技术股份有限公司 关系型数据库序列号应用方法和系统
CN103793424A (zh) * 2012-10-31 2014-05-14 阿里巴巴集团控股有限公司 数据库数据迁移方法及系统
CN103810275A (zh) * 2014-02-13 2014-05-21 清华大学 用于非关系与关系型数据库间数据交互的方法和装置
CN103970736A (zh) * 2013-01-25 2014-08-06 苏州精易会信息技术有限公司 一种将Excel表格转换成数据库表的方法
CN104077401A (zh) * 2014-07-04 2014-10-01 用友软件股份有限公司 用于数据库的数据迁移装置和数据迁移方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063491A (zh) * 2010-12-30 2011-05-18 浪潮集团山东通用软件有限公司 可实现跨不同类型数据库数据备份恢复的数据结构和实现方法
CN102508929A (zh) * 2011-12-01 2012-06-20 浪潮(北京)电子信息产业有限公司 实现异构数据库数据迁移的系统、装置及方法
CN102393860A (zh) * 2011-12-06 2012-03-28 方正国际软件有限公司 数据库数据迁移系统
CN103793424A (zh) * 2012-10-31 2014-05-14 阿里巴巴集团控股有限公司 数据库数据迁移方法及系统
CN103020268A (zh) * 2012-12-26 2013-04-03 大唐软件技术股份有限公司 关系型数据库序列号应用方法和系统
CN103970736A (zh) * 2013-01-25 2014-08-06 苏州精易会信息技术有限公司 一种将Excel表格转换成数据库表的方法
CN103810275A (zh) * 2014-02-13 2014-05-21 清华大学 用于非关系与关系型数据库间数据交互的方法和装置
CN104077401A (zh) * 2014-07-04 2014-10-01 用友软件股份有限公司 用于数据库的数据迁移装置和数据迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈诚: "混合数据存储的对象关系映射框架的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279261B (zh) * 2015-10-23 2019-07-02 北京京东尚科信息技术有限公司 动态可扩展数据库归档方法和系统
CN105279261A (zh) * 2015-10-23 2016-01-27 北京京东尚科信息技术有限公司 动态可扩展数据库归档方法和系统
CN105373599A (zh) * 2015-10-28 2016-03-02 北京汇商融通信息技术有限公司 基于多种数据存储平台的数据迁移系统
CN107122361A (zh) * 2016-02-24 2017-09-01 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN107122361B (zh) * 2016-02-24 2021-07-06 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN106372857A (zh) * 2016-08-31 2017-02-01 上海锐鸿通信技术有限公司 自动创建项目的方法和系统
CN108241679B (zh) * 2016-12-26 2020-07-03 北京国双科技有限公司 数据处理方法及装置
CN108241679A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 数据处理方法及装置
CN107545044A (zh) * 2017-08-15 2018-01-05 北京微影时代科技有限公司 一种数据表建立方法、电子设备及存储介质
CN108460108A (zh) * 2018-02-07 2018-08-28 广州和辰信息科技有限公司 一种数据库数据整理迁移方法、系统以及存储介质
CN108595541A (zh) * 2018-04-08 2018-09-28 上海康斐信息技术有限公司 一种数据抽取质量的测试方法及系统
CN108959456A (zh) * 2018-06-15 2018-12-07 珠海格力电器股份有限公司 一种自动恢复补全数据的方法
CN109254960A (zh) * 2018-08-24 2019-01-22 中国人民银行清算总中心 一种数据库海量数据的迁移方法及装置
CN109254960B (zh) * 2018-08-24 2020-11-13 中国人民银行清算总中心 一种数据库海量数据的迁移方法及装置
CN109669977A (zh) * 2018-11-30 2019-04-23 金蝶软件(中国)有限公司 跨数据库的数据接入方法、装置、计算机设备及存储介质
CN109829012A (zh) * 2018-12-13 2019-05-31 山东亚华电子股份有限公司 数据同步的方法和装置
CN109829012B (zh) * 2018-12-13 2021-03-12 山东亚华电子股份有限公司 数据同步的方法和装置
CN112650799A (zh) * 2019-10-12 2021-04-13 中国石油化工股份有限公司 用于分析地震解释数据文本的方法和装置
CN111090635A (zh) * 2019-11-29 2020-05-01 北京明略软件系统有限公司 一种预警方案的配置方法、装置及计算机可读存储介质
CN111090635B (zh) * 2019-11-29 2023-11-07 北京明略软件系统有限公司 一种预警方案的配置方法、装置及计算机可读存储介质
CN111259023A (zh) * 2020-01-13 2020-06-09 泰康保险集团股份有限公司 一种数据调度方法、装置、电子设备及存储介质
CN111259023B (zh) * 2020-01-13 2023-04-07 泰康保险集团股份有限公司 一种数据调度方法、装置、电子设备及存储介质
CN111291049A (zh) * 2020-01-19 2020-06-16 软通动力信息技术有限公司 一种创建表的方法、装置、设备和存储介质
CN111367895A (zh) * 2020-03-31 2020-07-03 中国建设银行股份有限公司 数据迁移方法及装置
CN111367895B (zh) * 2020-03-31 2023-11-24 中国建设银行股份有限公司 数据迁移方法及装置
CN111581184A (zh) * 2020-04-26 2020-08-25 中国工商银行股份有限公司 基于数据库迁移的语义对比方法及装置
CN111581184B (zh) * 2020-04-26 2023-07-18 中国工商银行股份有限公司 基于数据库迁移的语义对比方法及装置
CN113434482A (zh) * 2021-06-28 2021-09-24 平安国际智慧城市科技股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN114661723A (zh) * 2022-03-29 2022-06-24 杭州数梦工场科技有限公司 数据处理方法及装置、电子设备

Similar Documents

Publication Publication Date Title
CN104281704A (zh) 数据库数据拷贝方法和装置
US10241679B2 (en) Mapping of logical volumes to host clusters
US11055297B2 (en) Scalable dynamic acronym decoder
WO2017124795A1 (zh) 联系人分组处理方法、装置以及移动终端
EP3121778A1 (en) Information processing apparatus, information processing method, and program
US10142415B2 (en) Data migration
CN104915462A (zh) 一种文件管理方法及系统
US10320727B1 (en) Managing document feedback on a sharing service using a messaging client
US10110522B1 (en) Setting sharing options for files using a messaging client
US11204966B2 (en) Contextual image-assisted search
CN110413588A (zh) 分布式对象存储方法、装置、计算机设备和存储介质
US10536407B1 (en) Converting shared files to message attachments
CN102257498B (zh) 配置文件的注释生成方法及配置文件生成设备
CN104022876A (zh) 用户身份认证方法、设备及系统
AU2019350694B2 (en) Identification of records for post-cloning tenant identifier translation
CN112433783A (zh) 一种配置方法及相关设备
US10313284B1 (en) Upload and share files to a sharing service using a messaging client
CN104572638A (zh) 数据读写方法及装置
US20170116219A1 (en) Efficient differential techniques for metafiles
CN112015729B (zh) 数据管理装置、方法及其计算机存储介质
CN103258016B (zh) 数据传输方法及系统
US20170139595A1 (en) Storage Conditioning With Intelligent Rebuild
CN105302853A (zh) 一种实现数据重构的方法和装置
US9832079B2 (en) Determining the topology of a network
CN114594999B (zh) 发布文件的方法、装置、存储介质及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150114