CN105354314B - 数据迁移方法及装置 - Google Patents
数据迁移方法及装置 Download PDFInfo
- Publication number
- CN105354314B CN105354314B CN201510765437.9A CN201510765437A CN105354314B CN 105354314 B CN105354314 B CN 105354314B CN 201510765437 A CN201510765437 A CN 201510765437A CN 105354314 B CN105354314 B CN 105354314B
- Authority
- CN
- China
- Prior art keywords
- data
- migrated
- database
- mapping
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
- G06F16/1794—Details of file format conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据迁移方法及装置,源系统将数据库中待迁移数据转换为各个结构的数据库均能响应的标准数据文件,在接收到源系统发送的第一标准数据文件后,将第一标准数据文件转换为符合第二数据库结构的数据库数据,基于预先导入的映射关系表对第二数据库中的待迁移数据进行映射,得到目标数据,然后再将目标数据进行格式转换,得到第二标准数据文件,将第二标准数据文件发送给目标系统,由目标系统对第二标准数据文件进行格式转换,得到符合目标系统中第三数据库结构的数据库数据。降低了数据迁移难度,提高了数据迁移效率。
Description
技术领域
本发明涉及数据处理技术领域,更具体地说,涉及一种数据迁移方法及装置。
背景技术
通常,根据业务需求,一个系统可能需要用到另一个系统中的数据,因此,需要将一个系统的数据库中的数据迁移到另一个系统的数据库中,而传统的数据迁移方法只能用于特定系统间数据的迁移,其它系统间数据的迁移需要开发新的数据迁移方法,使得数据迁移难度大、数据迁移效率低。
发明内容
本发明的目的是提供一种数据迁移方法及装置,以降低数据迁移难度,提高数据迁移效率。
为实现上述目的,本发明提供了如下技术方案:
一种数据迁移方法,包括:
接收源系统发送的第一标准数据文件,所述第一标准数据文件由所述源系统中第一数据库中的待迁移数据进行格式转换得到;
将所述第一标准数据文件转换为符合第二数据库结构的数据库数据;
基于预先导入的映射关系表对所述第二数据库中的待迁移数据进行映射,得到目标数据;所述映射关系表中记录有所述源系统与目标系统的数据映射关系;
将所述目标数据进行格式转换,得到第二标准数据文件;
将所述第二标准数据文件发送至所述目标系统,由所述目标系统对所述第二标准数据文件进行格式转换,得到符合所述目标系统中第三数据库结构的数据库数据。
上述方法,优选的,所述基于预置的映射关系表对所述第二数据库中的待迁移数据进行映射,得到目标数据包括:
基于所述映射关系表,确定所述待迁移数据中需要通过映射运算进行映射的数据;
对需要通过映射运算进行映射的待迁移数据进行映射运算,得到与所述需要通过映射运算进行映射的待迁移数据对应的中间数据;
将所述待迁移数据中不需要通过映射运算进行映射的数据,以及所述中间数据整合为目标数据。
上述方法,优选的,还包括:
接收源系统发送的第三标准数据文件,所述第三标准数据文件为所述源系统生成的待迁移数据报表;
将所述第三标准数据文件转换为符合所述第二数据库结构的数据库数据;
在得到所述中间数据后,基于所述中间数据和待迁移数据中不需要通过映射运算的数据,生成迁移后数据报表;
基于所述第二数据库中待迁移数据报表对所述迁移后数据报表进行校验,以判断迁移后数据是否正确。
上述方法,优选的,所述基于预置的映射关系表对所述第二数据库中的待迁移数据进行映射,得到目标数据包括:
基于所述映射关系表生成用于数据映射的标准SQL语句;
通过所生成的标准SQL语句对所述第二数据库中的待迁移数据进行映射,得到目标数据。
上述方法,优选的,所述第一标准数据文件和所述第二标准数据文件均为文本文件。
一种数据迁移装置,包括:
第一接收模块,用于接收源系统发送的第一标准数据文件,所述第一标准数据文件由所述源系统中第一数据库中的待迁移数据进行格式转换得到;
第一转换模块,用于将所述第一标准数据文件转换为符合第二数据库结构的数据库数据;
映射模块,用于基于预先导入的映射关系表对所述第二数据库中的待迁移数据进行映射,得到目标数据;所述映射关系表中记录有所述源系统与目标系统的数据映射关系;
第二转换模块,用于将所述目标数据进行格式转换,得到第二标准数据文件;
发送模块,用于将所述第二标准数据文件发送至所述目标系统,由所述目标系统对所述第二标准数据文件进行格式转换,得到符合所述目标系统中第三数据库结构的数据库数据。
上述装置,优选的,所述映射模块包括:
确定单元,用于基于所述映射关系表,确定所述待迁移数据中需要通过映射运算进行映射的数据;
运算单元,用于对需要通过映射运算进行映射的待迁移数据进行映射运算,得到与所述需要通过映射运算进行映射的待迁移数据对应的中间数据;
整合单元,用于将所述待迁移数据中不需要通过映射运算进行映射的数据,以及所述中间数据整合为目标数据。
上述装置,优选的,还包括:
第二接收模块,用于接收源系统发送的第三标准数据文件,所述第三标准数据文件为所述源系统生成的待迁移数据报表;
第三转换模块,用于将所述第三标准数据文件转换为符合所述第二数据库结构的数据库数据;
报表生成模块,用于基于所述中间数据和待迁移数据中不需要通过映射运算的数据,生成迁移后数据报表;
校验模块,用于基于所述第二数据库中待迁移数据报表对所述迁移后数据报表进行校验,以判断迁移后数据是否正确。
上述装置,优选的,所述映射模块具体用于,基于所述映射关系表生成用于数据映射的标准SQL语句;通过所生成的标准SQL语句对所述第二数据库中的待迁移数据进行映射,得到目标数据。
上述装置,优选的,所述第一标准数据文件和所述第二标准数据文件均为文本文件。
通过以上方案可知,本申请提供的一种数据迁移方法及装置,源系统将数据库中待迁移数据转换为各个结构的数据库均能响应的标准数据文件,在接收到源系统发送的第一标准数据文件后,将第一标准数据文件转换为符合第二数据库结构的数据库数据,基于预先导入的映射关系表对第二数据库中的待迁移数据进行映射,得到目标数据,然后再将目标数据进行格式转换,得到第二标准数据文件,将第二标准数据文件发送给目标系统,由目标系统对第二标准数据文件进行格式转换,得到符合目标系统中第三数据库结构的数据库数据。可见,通过本发明实施例提供的数据迁移方法及装置,用户只需要配置需要进行数据迁移的两个系统的数据映射关系表,就可以通过本发明实施例提供的数据迁移方法实现两个系统间的数据迁移,且兼容异构数据库的系统间数据迁移,降低了数据迁移难度,提高了数据迁移效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据迁移方法的一种实现流程图;
图2为本申请实施例提供的基于预置的映射关系表对第二数据库中的待迁移数据进行映射,得到目标数据的一种实现流程图;
图3为本申请实施例提供的数据迁移装置的一种结构示意图;
图4为本申请实施例提供的映射模块的一种结构示意图;
图5为本申请实施例提供的数据迁移装置的另一种结构示意图。
说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的数据迁移方法及装置可以应用于服务器中。通过该服务器实现源系统与目标系统的数据库数据的迁移。
请参阅图1,图1为本申请实施例提供的数据迁移方法的一种实现流程图,可以包括:
步骤S11:接收源系统发送的第一标准数据文件,该第一标准数据文件由源系统中第一数据库中的待迁移数据进行格式转换得到;
本发明实施例中,当需要将源系统的数据库中的数据迁移到目标系统的数据库中时,由源系统将源系统中的数据库中的数据导出,导出的数据以标准数据文件格式存在。
步骤S12:将第一标准数据文件转换为符合第二数据库结构的数据库数据;
第二数据库的结构与第一数据库的结构可能相同,也可能不同。
在接收到源系统发送的第一标准数据文件后,将第一标准数据文件中携带的待迁移数据导入到第二数据库中,即将第一标准数据文件转换为符合第二数据库结构的数据库数据。
步骤S13:基于预先导入的映射关系表对第二数据库中的待迁移数据进行映射,得到目标数据;映射关系表中记录有源系统与目标系统的数据映射关系;
映射关系表由相关人员填写映射关系表模板得到,然后将填写好的映射关系表导入到数据迁移装置中。
映射关系表记录了源系统中数据与目标系统中数据的对应关系。由于数据库中的数据通常以表格的形式存在,因此,映射关系表中可以包括表级映射关系和字段级映射关系。其中,表级映射关系表征源系统和目标系统中表的映射关系,字段级的映射关系表征具有映射关系的表中,字段间的映射关系。
本发明实施例中,基于映射关系表对待迁移数据进行映射是对数据库中的数据进行操作,从而得到的目标数据也存储在数据库中。目标数据即为目标系统所需要的数据。
步骤S14:将目标数据进行格式转换,得到第二标准数据文件;
在得到目标数据后,将目标数据从数据库中导出,导出的数据也以标准数据文件格式存在。
步骤S15:将第二标准数据文件发送至目标系统,由目标系统对第二标准数据文件进行格式转换,得到符合目标系统中第三数据库结构的数据库数据。
目标系统在接收到第二标准数据文件后,将第二标准数据文件中的数据导入到目标系统的数据库中,实现数据迁移。
本发明实施例提供的数据迁移方法,源系统将数据库中待迁移数据转换为各个结构的数据库均能响应的标准数据文件,在接收到源系统发送的第一标准数据文件后,将第一标准数据文件转换为符合第二数据库结构的数据库数据,基于预先导入的映射关系表对第二数据库中的待迁移数据进行映射,得到目标数据,然后再将目标数据进行格式转换,得到第二标准数据文件,将第二标准数据文件发送给目标系统,由目标系统对第二标准数据文件进行格式转换,得到符合目标系统中第三数据库结构的数据库数据。可见,通过本发明实施例的数据迁移方法,用户只需要配置需要进行数据迁移的两个系统的数据映射关系表,就可以通过本发明实施例提供的数据迁移方法实现两个系统间的数据迁移,且兼容异构数据库的系统间数据迁移,降低了数据迁移难度,提高了数据迁移效率。
可选的,本发明实施例提供的基于预置的映射关系表对第二数据库中的待迁移数据进行映射,得到目标数据的一种实现流程图如图2所示,可以包括:
步骤S21:基于映射关系表,确定待迁移数据中需要通过映射运算进行映射的数据;
在迁移过程中,对于源系统中的数据,有些数据可能不需要处理直接迁移到目标系统中即可;而有些数据(如,部分数值)则可能需要进行一些运算才是目标系统需要的数据,例如,目标系统中的某个字段的取值可能是源系统中某几个字段的取值的和值。基于此,本发明实施例中,通过映射关系表中数据间的映射关系,可以确定待迁移数据中哪些需要通过映射运算进行映射,哪些不需要通过映射运算而是可以直接进行搬移。
步骤S22:对需要通过映射运算进行映射的待迁移数据进行映射运算,得到与所述需要通过映射运算进行映射的待迁移数据对应的中间数据;
本发明实施例中,先对需要通过映射运行进行映射的待迁移数据进行映射运算,得到映射后的数据,即中间数据。
步骤S23:将待迁移数据中不需要通过映射运算进行映射的数据,以及与需要通过映射运算进行映射的待迁移数据对应的中间数据整合为目标数据。
在对所有需要通过映射运算进行映射的待迁移数据进行映射运算后,将中间数据和不需要进行映射运算的数据整合为完整的目标数据。
本发明实施例中,不是直接将待迁移数据映射为目标数据,而是先将需要通过映射运算进行映射的待迁移数据进行映射运算,得到中间数据,然后再将中间数据与待迁移数据中不需要通过映射运算进行映射的数据整合为目标数据,提高了数据数据处理效率。
可选的,本发明实施例提供的数据迁移方法还可以包括:
接收源系统发送的第三标准数据文件,第三标准数据文件为源系统生成的待迁移数据报表;
本发明实施例中,源系统在发送第一标准数据文件前,还可以生成待迁移数据报表。该待迁移数据报表主要用于待迁移数据的统计。
源系统可以在发送第一标准数据文件的同时发送第三标准数据文件,也可以在发送第一标准数据文件之后发送第三标准数据文件。
将第三标准数据文件转换为符合第二数据库结构的数据库数据;
将第三标准数据文件中的数据导入到第二数据库中。
在得到与需要通过映射运算进行映射的待迁移数据对应的中间数据后,基于中间数据和待迁移数据中不需要通过映射运算的数据,生成迁移后数据报表;
迁移后数据报表主要用于对映射后的数据进行统计。
基于第二数据库中待迁移数据报表对迁移后数据报表进行校验,以判断迁移后数据是否正确。
可以通过将待迁移数据报表中的统计量与迁移后数据表报中的相应的统计量进行比对,若比对结果为相同,则确定迁移后数据正确,否则,确定迁移后数据错误。
进行校验的过程也可以通过标准SQL语句实现。具体的SQL语句可以由相关人员编写后导入数据迁移装置。
可选的,基于预置的映射关系表对第二数据库中的待迁移数据进行映射得到目标数据的一种实现方式可以为:
基于映射关系表生成用于数据映射的标准SQL语句;
通过所生成的标准SQL语句对所述第二数据库中的待迁移数据进行映射,得到目标数据。
本发明实施例中,除了映射过程可以通过标准SQL语句实现。其它过程(如,数据的导入数据库,或导出数据库的过程等)也可以通过标准SQL语句实现。
可选的,本发明实施例中,所涉及到的标准数据文件,如第一标准数据文件、第二标准数据文件和第三标准数据文件均为文本文件,即以ASCII码方式(也称文本方式)存储的文件。
与方法实施例相对应,本发明实施例还提供一种数据迁移装置,本发明实施例提供的数据迁移装置的一种结构示意图如图3所示,可以包括:
第一接收模块31,第一转换模块32,映射模块33,第二转换模块34和发送模块35;其中,
第一接收模块31用于接收源系统发送的第一标准数据文件,第一标准数据文件由所源系统中第一数据库中的待迁移数据进行格式转换得到;
本发明实施例中,当需要将源系统的数据库中的数据迁移到目标系统的数据库中时,由源系统将源系统中的数据库中的数据导出,导出的数据以标准数据文件格式存在。
第一转换模块32用于将第一标准数据文件转换为符合第二数据库结构的数据库数据;
第二数据库是本发明实施例提供的数据迁移装置独立享有的数据库。第二数据库的结构与第一数据库的结构可能相同,也可能不同。
在接收到源系统发送的第一标准数据文件后,第一转换模块32将第一标准数据文件中携带的待迁移数据导入到第二数据库中,即将第一标准数据文件转换为符合第二数据库结构的数据库数据。
映射模块33用于基于预先导入的映射关系表对第二数据库中的待迁移数据进行映射,得到目标数据;映射关系表中记录有源系统与目标系统的数据映射关系;
映射关系表由相关人员填写映射关系表模板得到,然后将填写好的映射关系表导入到数据迁移装置中。
映射关系表记录了源系统中数据与目标系统中数据的对应关系。由于数据库中的数据通常以表格的形式存在,因此,映射关系表中可以包括表级映射关系和字段级映射关系。其中,表级映射关系表征源系统和目标系统中表的映射关系,字段级的映射关系表征具有映射关系的表中,字段间的映射关系。
本发明实施例中,基于映射关系表对待迁移数据进行映射是对数据库中的数据进行操作,从而得到的目标数据也存储在数据库中。目标数据即为目标系统所需要的数据。
第二转换模块34用于将目标数据进行格式转换,得到第二标准数据文件;
在得到目标数据后,第二转换模块34将目标数据从数据库中导出,导出的数据也以标准数据文件格式存在。
发送模块35用于将第二标准数据文件发送至目标系统,由目标系统对第二标准数据文件进行格式转换,得到符合目标系统中第三数据库结构的数据库数据。
目标系统在接收到第二标准数据文件后,将第二标准数据文件中的数据导入到目标系统的数据库中,实现数据迁移。
本发明实施例提供的数据迁移装置,源系统将数据库中待迁移数据转换为各个结构的数据库均能响应的标准数据文件,在接收到源系统发送的第一标准数据文件后,将第一标准数据文件转换为符合第二数据库结构的数据库数据,基于预先导入的映射关系表对第二数据库中的待迁移数据进行映射,得到目标数据,然后再将目标数据进行格式转换,得到第二标准数据文件,将第二标准数据文件发送给目标系统,由目标系统对第二标准数据文件进行格式转换,得到符合目标系统中第三数据库结构的数据库数据。可见,通过本发明实施例的数据迁移装置,用户只需要配置需要进行数据迁移的两个系统的数据映射关系表,就可以通过本发明实施例提供的数据迁移装置实现两个系统间的数据迁移,且兼容异构数据库的系统间数据迁移,降低了数据迁移难度,提高了数据迁移效率。
可选的,本发明实施例提供的映射模块33的一种结构示意图如图4所示,可以包括:
确定单元41,运算单元42和整合单元43;其中,
确定单元41用于基于映射关系表,确定待迁移数据中需要通过映射运算进行映射的数据;
在迁移过程中,对于源系统中的数据,有些数据可能不需要处理直接迁移到目标系统中即可;而有些数据(如,部分数值)则可能需要进行一些运算才是目标系统需要的数据,例如,目标系统中的某个字段的取值可能是源系统中某几个字段的取值的和值。基于此,本发明实施例中,通过映射关系表中数据间的映射关系,确定待迁移数据中哪些需要通过映射运算进行映射,哪些不需要通过映射运算而是可以直接进行搬移。
运算单元42用于对需要通过映射运算进行映射的待迁移数据进行映射运算,得到与需要通过映射运算进行映射的待迁移数据对应的中间数据;
本发明实施例中,先对需要通过映射运行进行映射的待迁移数据进行映射运算,得到映射后的数据,即中间数据。
整合单元43用于将待迁移数据中不需要通过映射运算进行映射的数据,以及与需要通过映射运算进行映射的待迁移数据对应的中间数据整合为目标数据。
在对所有需要通过映射运算进行映射的待迁移数据进行映射运算后,将中间数据和不需要进行映射运算的数据整合为完整的目标数据。
本发明实施例中,不是直接将待迁移数据映射为目标数据,而是先将需要通过映射运算进行映射的待迁移数据进行映射运算,得到中间数据,然后再将中间数据与待迁移数据中不需要通过映射运算进行映射的数据整合为目标数据,提高了数据数据处理效率。
可选的,在图4所示实施例的基础上,本发明实施例提供的数据迁移装置的另一种结构示意图如图5所示,可以包括:
第二接收模块51,第三转换模块52,报表生成模块53和校验模块54;其中,
第二接收模块51用于接收源系统发送的第三标准数据文件,第三标准数据文件为源系统生成的待迁移数据报表;
本发明实施例中,源系统在发送第一标准数据文件前,还可以生成待迁移数据报表。该待迁移数据报表主要用于待迁移数据的统计。
源系统可以在发送第一标准数据文件的同时发送第三标准数据文件,也可以在发送第一标准数据文件之后发送第三标准数据文件。
第三转换模块52用于将第三标准数据文件转换为符合第二数据库结构的数据库数据;
第三转换模块52将第三标准数据文件中的数据导入到第二数据库中。
报表生成模块53用于基于中间数据和待迁移数据中不需要通过映射运算的数据,生成迁移后数据报表;
迁移后数据报表主要用于对映射后的数据进行统计。
校验模块54用于基于第二数据库中待迁移数据报表对迁移后数据报表进行校验,以判断迁移后数据是否正确。
可以通过将待迁移数据报表中的统计量与迁移后数据表报中的相应的统计量进行比对,若比对结果为相同,则确定迁移后数据正确,否则,确定迁移后数据错误。
进行校验的过程也可以通过标准SQL语句实现。具体的SQL语句可以由相关人员编写后导入数据迁移装置。
可选的,映射模块33具体可以用于,基于映射关系表生成用于数据映射的标准SQL语句;通过所生成的标准SQL语句对所述第二数据库中的待迁移数据进行映射,得到目标数据。
本发明实施例中,除了映射模块可以通过标准SQL语句实现其功能外。其它功能模块(如,第一转换模块32,第二转换模块34,第三转换模块52等)也可以通过标准SQL语句实现相应功能。
可选的,本发明实施例中,所涉及到的标准数据文件,如第一标准数据文件、第二标准数据文件和第三标准数据文件均为文本文件,即以ASCII码方式(也称文本方式)存储的文件。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统(若存在)、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统(若存在)、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种数据迁移方法,其特征在于,包括:
接收源系统发送的第一标准数据文件,所述第一标准数据文件由所述源系统中第一数据库中的待迁移数据进行格式转换得到;
将所述第一标准数据文件转换为符合第二数据库结构的数据库数据;
基于预先导入的映射关系表对所述第二数据库中的待迁移数据进行映射,得到目标数据;所述映射关系表中记录有所述源系统与目标系统的数据映射关系;
将所述目标数据进行格式转换,得到第二标准数据文件;
将所述第二标准数据文件发送至所述目标系统,由所述目标系统对所述第二标准数据文件进行格式转换,得到符合所述目标系统中第三数据库结构的数据库数据;
其中,所述基于预置的映射关系表对所述第二数据库中的待迁移数据进行映射,得到目标数据包括:
基于所述映射关系表,确定所述待迁移数据中需要通过映射运算进行映射的数据;
对需要通过映射运算进行映射的待迁移数据进行映射运算,得到与所述需要通过映射运算进行映射的待迁移数据对应的中间数据;
将所述待迁移数据中不需要通过映射运算进行映射的数据,以及所述中间数据整合为目标数据;
还包括:
接收源系统发送的第三标准数据文件,所述第三标准数据文件为所述源系统生成的待迁移数据报表;所述待迁移数据报表用于待迁移数据的统计;
将所述第三标准数据文件转换为符合所述第二数据库结构的数据库数据;
在得到所述中间数据后,基于所述中间数据和所述待迁移数据中不需要通过映射运算进行映射的数据,生成迁移后数据报表;所述迁移后数据报表用于对映射后的数据进行统计;
基于所述第二数据库中待迁移数据报表对所述迁移后数据报表进行校验,以判断迁移后数据是否正确。
2.根据权利要求1所述的方法,其特征在于,所述基于预置的映射关系表对所述第二数据库中的待迁移数据进行映射,得到目标数据包括:
基于所述映射关系表生成用于数据映射的标准SQL语句;
通过所生成的标准SQL语句对所述第二数据库中的待迁移数据进行映射,得到目标数据。
3.根据权利要求1所述的方法,其特征在于,所述第一标准数据文件和所述第二标准数据文件均为文本文件。
4.一种数据迁移装置,其特征在于,包括:
第一接收模块,用于接收源系统发送的第一标准数据文件,所述第一标准数据文件由所述源系统中第一数据库中的待迁移数据进行格式转换得到;
第一转换模块,用于将所述第一标准数据文件转换为符合第二数据库结构的数据库数据;
映射模块,用于基于预先导入的映射关系表对所述第二数据库中的待迁移数据进行映射,得到目标数据;所述映射关系表中记录有所述源系统与目标系统的数据映射关系;
第二转换模块,用于将所述目标数据进行格式转换,得到第二标准数据文件;
发送模块,用于将所述第二标准数据文件发送至所述目标系统,由所述目标系统对所述第二标准数据文件进行格式转换,得到符合所述目标系统中第三数据库结构的数据库数据;
其中,所述映射模块包括:
确定单元,用于基于所述映射关系表,确定所述待迁移数据中需要通过映射运算进行映射的数据;
运算单元,用于对需要通过映射运算进行映射的待迁移数据进行映射运算,得到与所述需要通过映射运算进行映射的待迁移数据对应的中间数据;
整合单元,用于将所述待迁移数据中不需要通过映射运算进行映射的数据,以及所述中间数据整合为目标数据;
还包括:
第二接收模块,用于接收源系统发送的第三标准数据文件,所述第三标准数据文件为所述源系统生成的待迁移数据报表;所述待迁移数据报表用于待迁移数据的统计;
第三转换模块,用于将所述第三标准数据文件转换为符合所述第二数据库结构的数据库数据;
报表生成模块,用于基于所述中间数据和所述待迁移数据中不需要通过映射运算进行映射的数据,生成迁移后数据报表;所述迁移后数据报表用于对映射后的数据进行统计;
校验模块,用于基于所述第二数据库中待迁移数据报表对所述迁移后数据报表进行校验,以判断迁移后数据是否正确。
5.根据权利要求4所述的装置,其特征在于,所述映射模块具体用于,基于所述映射关系表生成用于数据映射的标准SQL语句;通过所生成的标准SQL语句对所述第二数据库中的待迁移数据进行映射,得到目标数据。
6.根据权利要求4所述的装置,其特征在于,所述第一标准数据文件、和所述第二标准数据文件均为文本文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510765437.9A CN105354314B (zh) | 2015-11-10 | 2015-11-10 | 数据迁移方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510765437.9A CN105354314B (zh) | 2015-11-10 | 2015-11-10 | 数据迁移方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105354314A CN105354314A (zh) | 2016-02-24 |
CN105354314B true CN105354314B (zh) | 2020-03-03 |
Family
ID=55330286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510765437.9A Active CN105354314B (zh) | 2015-11-10 | 2015-11-10 | 数据迁移方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105354314B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106227776A (zh) * | 2016-07-18 | 2016-12-14 | 四川君逸数码科技股份有限公司 | 一种支撑智慧金融的数据预处理方法和装置 |
CN106528831B (zh) * | 2016-11-22 | 2020-03-13 | 泰康保险集团股份有限公司 | 数据推送方法及系统 |
CN106776876A (zh) * | 2016-11-29 | 2017-05-31 | 用友网络科技股份有限公司 | 数据迁移方法和数据迁移系统 |
CN107045534B (zh) * | 2017-01-20 | 2018-06-05 | 中国航天系统科学与工程研究院 | 大数据环境下基于HBase的异构数据库在线交换与共享系统 |
CZ2017124A3 (cs) * | 2017-03-07 | 2018-05-09 | Krieg Jaroslav | Způsob přenášení struktur a datových souborů mezi zdrojovým a cílovým systémem a systém k jeho provádění |
CN107315814B (zh) * | 2017-06-29 | 2021-03-02 | 苏州浪潮智能科技有限公司 | 一种kdb数据库数据迁移后数据一致性验证方法及系统 |
CN108614869A (zh) * | 2018-04-17 | 2018-10-02 | 国家电网公司 | 一种历史数据在不同自动化系统平台同步迁移的方法 |
CN108984759A (zh) * | 2018-07-19 | 2018-12-11 | 北京中电普华信息技术有限公司 | 一种数据转换方法、装置及电子设备 |
CN109582736A (zh) * | 2018-11-22 | 2019-04-05 | 平安科技(深圳)有限公司 | 贷款业务名单表的同步方法、装置和计算机设备 |
CN109785115A (zh) * | 2018-12-14 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 测试数据的生成方法、装置和计算机设备 |
CN112035439B (zh) * | 2020-09-01 | 2024-02-27 | 中国银行股份有限公司 | 数据迁移方法及装置、计算机设备及计算机可读存储介质 |
CN112416901A (zh) * | 2020-11-19 | 2021-02-26 | 中国建设银行股份有限公司 | 数据库迁移的方法及装置 |
CN112286910B (zh) * | 2020-11-23 | 2024-04-12 | 中国农业银行股份有限公司 | 一种数据校验方法及装置 |
CN112667733A (zh) * | 2021-03-15 | 2021-04-16 | 北京焦点新干线信息技术有限公司 | 数据仓库数据导入方法与系统 |
CN113360511A (zh) * | 2021-06-17 | 2021-09-07 | 马上消费金融股份有限公司 | 征信信息的处理方法、装置及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1857946A2 (en) * | 2006-05-16 | 2007-11-21 | Sap Ag | Systems and methods for migrating data |
CN102063500A (zh) * | 2011-01-04 | 2011-05-18 | 北京凯铭风尚网络技术有限公司 | 一种数据迁移的方法及装置 |
CN103631907A (zh) * | 2013-11-26 | 2014-03-12 | 中国科学院信息工程研究所 | 一种将关系型数据迁移至HBase的方法及系统 |
CN103793424A (zh) * | 2012-10-31 | 2014-05-14 | 阿里巴巴集团控股有限公司 | 数据库数据迁移方法及系统 |
-
2015
- 2015-11-10 CN CN201510765437.9A patent/CN105354314B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1857946A2 (en) * | 2006-05-16 | 2007-11-21 | Sap Ag | Systems and methods for migrating data |
CN102063500A (zh) * | 2011-01-04 | 2011-05-18 | 北京凯铭风尚网络技术有限公司 | 一种数据迁移的方法及装置 |
CN103793424A (zh) * | 2012-10-31 | 2014-05-14 | 阿里巴巴集团控股有限公司 | 数据库数据迁移方法及系统 |
CN103631907A (zh) * | 2013-11-26 | 2014-03-12 | 中国科学院信息工程研究所 | 一种将关系型数据迁移至HBase的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105354314A (zh) | 2016-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105354314B (zh) | 数据迁移方法及装置 | |
US9563679B2 (en) | Adaptive warehouse data validation tool | |
CN103390244B (zh) | 一种具有运营商特色的用户好友关系聚合方法及聚合平台 | |
CN109597822B (zh) | 一种用户数据的存储及查询方法和用户数据处理装置 | |
CN108509326B (zh) | 一种基于nginx日志的服务状态统计方法及系统 | |
CN107168971B (zh) | 网页应用的数据处理方法和装置 | |
CN107506383B (zh) | 一种审计数据处理方法和计算机设备 | |
RU2662405C2 (ru) | Автоматическое формирование сертификационных документов | |
CN105224613A (zh) | 基于数据联邦技术的异构数据源整合系统及其整合方法 | |
CN107273369B (zh) | 一种表数据修改方法和装置 | |
CN108255837A (zh) | 一种sql解析器及方法 | |
CN101576922B (zh) | 接入系统和接入方法 | |
CN104601554A (zh) | 一种数据交换方法及数据交换装置 | |
CN109408502A (zh) | 一种数据标准处理方法、装置及其存储介质 | |
CN106919607B (zh) | 一种数据访问方法、装置及系统 | |
CN109271448A (zh) | 基于数据库为平台的数据同步系统及方法 | |
CN106383914B (zh) | 基于云呼叫平台实现多数据源配置的方法及其系统 | |
CN111339560B (zh) | 一种数据隔离方法、装置及系统 | |
CN111552712A (zh) | 报表数据提取方法、装置及计算机设备 | |
CN113779941B (zh) | 一种可配置的动态报表的生成装置、系统及方法 | |
CN104950696A (zh) | 控制逻辑设计数据转换为控制逻辑仿真验证平台文件的系统及方法 | |
CN115905371A (zh) | 数据趋势分析方法、装置、设备及计算机可读存储介质 | |
CN115757642A (zh) | 一种基于归档日志文件的数据同步方法及装置 | |
CN104618490A (zh) | 医疗系统中通讯终端的数据共享方法及系统 | |
CN113965599A (zh) | 基于通用管理业务模型的设备管理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |