CN111580862A - 数据移植的方法和装置 - Google Patents
数据移植的方法和装置 Download PDFInfo
- Publication number
- CN111580862A CN111580862A CN202010415208.5A CN202010415208A CN111580862A CN 111580862 A CN111580862 A CN 111580862A CN 202010415208 A CN202010415208 A CN 202010415208A CN 111580862 A CN111580862 A CN 111580862A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- migration
- transplantation
- transplanted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005012 migration Effects 0.000 title claims abstract description 112
- 238000013508 migration Methods 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000002054 transplantation Methods 0.000 claims abstract description 72
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000011161 development Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000004519 manufacturing process Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 11
- 230000008676 import Effects 0.000 claims description 6
- 238000000586 desensitisation Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000013524 data verification Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000013515 script Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000007711 solidification Methods 0.000 description 2
- 230000008023 solidification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/76—Adapting program code to run in a different environment; Porting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据移植的方法和装置。其中,该方法包括:获取数据移植的开发和测试环境和数据库中各类目的对照信息;依据数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具;依据数据移植工具对待移植数据进行数据移植。本发明解决了由于现有系统软硬件版本无法适配随时间更新的多种业务的技术问题。
Description
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种数据移植的方法和装置。
背景技术
新一代电话支付系统由原系统技术人员和JAVA开发平台技术人员共同负责开发,实现包括原系统全部业务功能,并在此基础上新增小额贷款业务,对刷卡手续费进行改造,配套地方农村支付综合服务平台改造,新增密管平台接入,涉及到个人信贷系统、银联前置系统、密管平台需要进行相应的配套改造工作。为了保证新一代电话支付系统重构上线后业务的正常、稳定的发展,需要进行数据移植。
由于原系统建设较早,系统的软、硬件版本较为老旧。随着业务长时间发展,系统数据量大、冗余数据多。
针对上述由于现有系统软硬件版本无法适配随时间更新的多种业务的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据移植的方法和装置,以至少解决由于现有系统软硬件版本无法适配随时间更新的多种业务的技术问题。
根据本发明实施例的一个方面,提供了一种数据移植的方法,包括:获取数据移植的开发和测试环境和数据库中各类目的对照信息;依据数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具;依据数据移植工具对待移植数据进行数据移植。
可选的,获取数据库中各类目的对照信息包括:获取简化数据库用户间移植对照信息、简化数据库表之间移植对照信息和简化表字段之间移植对照信息;将简化数据库用户间移植对照信息、简化数据库表之间移植对照信息和简化表字段之间移植对照信息确定为数据库中各类目的对照信息。
可选的,依据数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具包括:在数据移植的开发和测试环境包括指定数据库软件的情况下,依据指定数据库软件基于模拟测试环境,并与数据库中各类目的对照信息进行数据测试,得到数据移植工具。
进一步地,可选的,依据数据移植工具对待移植数据进行数据移植包括:将待移植数据进行生产取数测试,并将测试后的待移植数据通过业务数据确认进行数据校验,得到校验后的待移植数据;优化数据移植工具的移植效率,并对校验后的待移植数据进行数据移植。
可选的,该方法还包括:获取待移植数据,并将待移植数据生成待处理文件;将待处理文件导入数据库中,并校验导入数据与预先存储的数据是否一致;在校验结果为是的情况下,根据更新后表格的主键字段,在数据服务器中进行去重处理;检查依赖表是否导入,运行数据移植工具生成数据文件,并执行导入指令,将数据文件导入数据库,校验数据库中的记录条数与预存表中的记录条数,对导入数据的表进行重建索引;在校验结果为否的情况下,重新获取待移植数据。
可选的,该方法还包括:通过预设表格工具对待移植数据与待导入位置进行分析;以及,通过预设至少一种移植方式,对待移植数据进行移植。
可选的,该方法还包括:通过将生产数据进行流程脱敏、分类汇总后与业务进行紧密交流以确认数据的安全、合理的处理方式。
可选的,该方法还包括:将移植操作进行分步骤实施,移植待移植数据。
根据本发明实施例的另一方面,还提供了一种数据移植的装置,包括:获取模块,用于获取数据移植的开发和测试环境和数据库中各类目的对照信息;工具生成模块,用于依据数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具;移植模块,用于依据数据移植工具对待移植数据进行数据移植。
根据本发明实施例的又一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行上述数据移植的方法。
根据本发明实施例的再一方面,还提供了一种处理器,处理器用于运行存储在存储介质中的程序,其中,程序运行时执行上述数据移植的方法。
在本发明实施例中,通过获取数据移植的开发和测试环境和数据库中各类目的对照信息;依据数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具;依据数据移植工具对待移植数据进行数据移植,达到了提升数据移植效率的目的,从而实现了扩展数据移植所适用业务范围的技术效果,进而解决了由于现有系统软硬件版本无法适配随时间更新的多种业务的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据移植的方法的流程示意图;
图2是根据本发明实施例的一种数据移植的方法的示意图;
图3是根据本发明实施例的一种数据移植的方法中移植流程的示意图;
图4a是根据本发明实施例的一种数据移植的方法中数据分布差异分析结果的示意图;
图4b是根据本发明实施例的一种数据移植的方法中数据结构差异分析结果的示意图;
图4c是根据本发明实施例的一种数据移植的方法中数据信息存储差异分析结果的示意图;
图4d是根据本发明实施例的一种数据移植的方法中数据对比模板的示意图
图5是根据本发明实施例的一种数据移植的方法中移植方式选取结果的示意图;
图6是根据本发明实施例的一种数据移植的方法中程序移植标数配置模板的示意图;
图7a是根据本发明实施例的一种数据移植的方法中程序内部实现机制的示意图;
图7b是根据本发明实施例的一种数据移植的方法中程序移植操作的示意图;
图8是根据本发明实施例的一种数据移植的装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种数据移植的方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的数据移植的方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤S102,获取数据移植的开发和测试环境和数据库中各类目的对照信息;
步骤S104,依据数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具;
步骤S106,依据数据移植工具对待移植数据进行数据移植。
在本发明实施例中,通过获取数据移植的开发和测试环境和数据库中各类目的对照信息;依据数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具;依据数据移植工具对待移植数据进行数据移植,达到了提升数据移植效率的目的,从而实现了扩展数据移植所适用业务范围的技术效果,进而解决了由于现有系统软硬件版本无法适配随时间更新的多种业务的技术问题。
可选的,步骤S102中获取数据库中各类目的对照信息包括:获取简化数据库用户间移植对照信息、简化数据库表之间移植对照信息和简化表字段之间移植对照信息;将简化数据库用户间移植对照信息、简化数据库表之间移植对照信息和简化表字段之间移植对照信息确定为数据库中各类目的对照信息。
可选的,步骤S104中依据数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具包括:在数据移植的开发和测试环境包括指定数据库软件的情况下,依据指定数据库软件基于模拟测试环境,并与数据库中各类目的对照信息进行数据测试,得到数据移植工具。
进一步地,可选的,步骤S106中依据数据移植工具对待移植数据进行数据移植包括:将待移植数据进行生产取数测试,并将测试后的待移植数据通过业务数据确认进行数据校验,得到校验后的待移植数据;优化数据移植工具的移植效率,并对校验后的待移植数据进行数据移植。
综上,结合步骤S102至步骤S106,如图2所示,图2是根据本发明实施例的一种数据移植的方法的示意图。本申请实施例提供的数据移植的方法具体如下:
第一,资源协调:硬件资源(虚拟机2台);参与人员(专项组3人);数据库软件(oraclellg)
第二,环境准备:搭建移植开发环境;搭建移植测试环境;
第三,简化移植对照信息:简化数据库用户间移植对照信息;简化数据库表之间移植对照信息;简化表字段之间移植对照信息;
第四,移植工具的实现:标数下发开发人员实现;脚本实现;程序开发实现;sqlloader使用;测试环境模拟数据测试;
第五,生产取数测试:生产提数申请;生产数据脱敏;脱敏数据测试;数据合理化分析;
第六,业务数据确认:移植数据期限;异常数据处理方法;业务中断处理方法;升级验证办法;
第七,数据准确性校验:制定特色校验规则;技术校验和业务检验;校验结果分析存档;
第八,移植效率调优:工具性能测试;脚本调优;程序调优;效率值参考存档;
第九,移植预演:生产操作限制确认;详细移植步骤建立;具体操作演练;步骤花费时间分析;停业时间预估;异常处理预案。
可选的,本申请实施例提供的数据移植的方法还包括:获取待移植数据,并将待移植数据生成待处理文件;将待处理文件导入数据库中,并校验导入数据与预先存储的数据是否一致;在校验结果为是的情况下,根据更新后表格的主键字段,在数据服务器中进行去重处理;检查依赖表是否导入,运行数据移植工具生成数据文件,并执行导入指令,将数据文件导入数据库,校验数据库中的记录条数与预存表中的记录条数,对导入数据的表进行重建索引;在校验结果为否的情况下,重新获取待移植数据。
具体的,在解决不同版本数据库跨主机、跨网络、大数据量传输的问题的情况下:
采用oracle导入导出(imp/exp)工具用于导出数据;开发移植脚本范例导入导出不同库、不同用户的数据;对海量数据采取分时间段、分批次的导出策略;对于数据量特大的表进行分表处理;在数据转换方面,自主研发移植工具,它可配置,并支持串行、并行处理,能够大大提高移植效率。综合使用数据移植工具,结合合理的流程,科学解决了本问题。如图3所示,图3是根据本发明实施例的一种数据移植的方法中移植流程的示意图,移植流程如下:
其中,数据移植流程包括:固化生产数据库、新一代电话支付系统数据移植服务器和新一代电话支付系统数据库;数据移植流程具体如下:
Step1.从固化生产数据库中分批抽取数据量大的表的存量数据,导出为dmp文件;
Step2.导出的dmp文件存放在新一代电话支付系统数据移植服务器的指定路径;
Step3.将dmp文件导入到新一代电话支付系统数据库中,校验导入数据与原表是否一致,若是,执行Step4;若否,执行Step1;
Step4.在新一代电话支付系统数据库中根据新表主键字段,进行去重处理;检查依赖表是否已导入;若是,执行Step5;若否,执行Step3
Step5.在新一代电话支付系统数据库中运行数据移植程序,生成数据文件,执行sqlload导入命令,按表将数据文件导入新一代电话支付系统数据库;
Step6.处理完毕后,校验新一代电话支付系统数据库中的记录条数与原表中的记录条数;
Step7.对导入数据的表进行重建索引操作,重建成功,此表数据移植完成。
可选的,本申请实施例提供的数据移植的方法还包括:通过预设表格工具对待移植数据与待导入位置进行分析;以及,通过预设至少一种移植方式,对待移植数据进行移植。
具体的,针对数据库结构重构变化带来的问题,本申请实施例提供的数据移植的方法如图4a-4d所示,其中,图4a是根据本发明实施例的一种数据移植的方法中数据分布差异分析结果的示意图;图4b是根据本发明实施例的一种数据移植的方法中数据结构差异分析结果的示意图;图4c是根据本发明实施例的一种数据移植的方法中数据信息存储差异分析结果的示意图;图4d是根据本发明实施例的一种数据移植的方法中数据对比模板的示意图。
其中,本申请实施例提供了一套完善的execl配置模板(填写简单且自带公式),使分析过程简单化,分析结果明晰化、准确化。
以及,
本申请实施例采用标数、脚本、程序移植、程序移植&sqlloader等多种移植方式,并提供每种移植方式的选取原则和建议。具体原则如下:
标数移植原则,主要针对静态且数据量在50条以内数据,且新旧表字段转换关系复杂或没有对应关系的表,由开发人员根据新的程序实现逻辑,以目前生产数据为基础,编写标数,实现原系统到新系统的数据转换与移植。此部分主要由熟悉的开发人员完成准备。
脚本移植原则,主要针对对于数据量较大,不能进行手工编辑,且新旧表对照关系多为1对1关系,数据转换关系不复杂的表,通过SELECT对原表数据进行重新组织,与新表结构一致后,再通过INSERT插入新表的SQL脚本方式进行数据移植。
程序移植原则,主要针对对于单表数据量在200万条以内且表关联在不多于两个的情况,使用C语言编写程序,通过建立的数据移植配置表,读取配置的新旧表对照关系标数,进行新旧数据库表及字段的对照和转换,直接入库。
程序加sqlloader工具移植原则,主要针对对于数据量在200万条以上,存在多表合一情况复杂的表,使用C语言编写程序,通过建立的数据移植配置表,读取配置的新旧表对照关系标数,进行新旧数据库表及字段的对照和转换,生成与新表表结构一致的数据文本文件,再使用oracle提供数据导入工具SQLLOADER,导入新数据库表中。
根据以上原则选取的各表的移植方式如图5所示,图5是根据本发明实施例的一种数据移植的方法中移植方式选取结果的示意图。
可选的,本申请实施例提供的数据移植的方法还包括:通过将生产数据进行流程脱敏、分类汇总后与业务进行紧密交流以确认数据的安全、合理的处理方式。
具体的,本申请实施例对于冗余数据问题,通过将生产数据进行流程脱敏、分类汇总后与业务进行紧密交流以确认数据的安全、合理的处理方式。
可选的,本申请实施例提供的数据移植的方法还包括:将移植操作进行分步骤实施,移植待移植数据。
具体的,本申请实施例为解决原系统主机资源紧缺的问题,保证最短的停业时间,将移植操作分成数据移植准备工作、数据移植环境搭建、静态报表数据移植、T-5日数据移植、T-3日数据移植、T-1日数据移植、T日数据移植、T+1日数据移植8个阶段配合上线步骤进行实施,保证T日的操作时间最短。
在程序开发方面:
1.提供了数据移植转换配置模板,通过简单的操作即可完成转换关系入库。如图6所示,图6是根据本发明实施例的一种数据移植的方法中程序移植标数配置模板的示意图;
2.本申请实施例中的数据移植工具运行在linux 64位操作系统之上,可以灵活读取入库的转换关系,使用时屏蔽数据类型,自动进行数据类型的合理转化,只需输入简单数据即可灵活完成移植及移植结果校验的工作,避免了编写大量、繁琐的移植脚本工作。
其中,数据移植工具的程序内部实现机制及操作界面如图7a所示,图7a是根据本发明实施例的一种数据移植的方法中程序内部实现机制的示意图,具体如下:
其中,主控进程包括:
Step1.选择移植模式,选择单表直接入库执行步骤Step2,选择全量直接入库执行步骤Step3;
Step2.单表生成文件;是否启用定位移植条件;若是,则交互自定义条件移植;若否,则全表数据移植;依据交互自定义条件移植或全表数据移植更新移植结果;
Step3.全量生成文件;创建进程池;创建任务队列(任务下发队列、任务反馈队列);选择父进程还是子进程;
若选择父进程,获取与子进程数量相等的待移植任务信息;第一次给所有子进程下发移植任务,如果任务比子进程数少则下发任务给部分子进程,先更新移植状态再下发;获取子进程任务反馈,更新表移植结果状态,获取一项新的待移植任务;判断是否存在;若是,则更新移植状态为“移植中”,并下发任务;若否,则打印全量移植结果,人工确认是否退出,退出释放进程池及队列资源;
若选择子进程,获取移植任务,执行移植任务,给父进程反馈执行结果,并将执行结果反馈至获取移植任务阶段;
如图7a所示,基于上述子进程的执行流程如下:
Step 1.根据新表任务读取移植配置总控表,获取移植关联条件;
Step 2.选择直接入库或生成文件;若选择直接入库则执行Step3,若选择生成文件则执行Step4;
Step 3.根据新表名获取移植配置明细表获取转换条件,组成查询结果集语句,生成查询结果集,并逐条处理查询结果集:将ORACLE内部类型转换为C支持的外部识别类型、将外部数据类型转换为C的自定义类型、根据新表的结构信息对数据进行特殊转换处理、将C支持的外部类型转换为ORACLE内部类型SQLDA结构、将数据直接插入数据库;结合将ORACLE内部类型转换为C支持的外部识别类型、将外部数据类型转换为C的自定义类型、根据新表的结构信息对数据进行特殊转换处理、将C支持的外部类型转换为ORACLE内部类型SQLDA结构、将数据直接插入数据库判断执行过程中是否异常,若异常按照指定格式登记异常明细到指定文件;若正常,则逐条处理查询结果集;
Step 4.根据新表名获取移植配置明细表获取转换条件,组成查询结果集语句,生成查询结果集,并逐条处理查询结果集:将ORACLE内部类型转换为C支持的外部识别类型、将外部数据类型转换为C的自定义类型、根据新表的结构信息对数据进行特殊转换处理、将数据登记移植文件中;结合将ORACLE内部类型转换为C支持的外部识别类型、将外部数据类型转换为C的自定义类型、根据新表的结构信息对数据进行特殊转换处理、将数据登记移植文件中判断执行过程中是否异常,若异常按照指定格式登记异常明细到指定文件;若正常,则逐条处理查询结果集。
具体的,如图7b所示,图7b是根据本发明实施例的一种数据移植的方法中程序移植操作的示意图,本申请实施例提供的数据移植的方法具体的程序移植操作如图7b所示。
需要说明的是,本申请实施例提供的数据移植的方法具体的程序移植操作仅以图7b为例,以实现本申请实施例提供的数据移植的方法为准,具体不做限定。
本申请实施例提供的数据移植的方法中数据移植实施过程安全、快捷、投入成本低。移植完成后,新一代电话支付系统运行稳定,业务开展零问题,取得了很好的效果。具体效果如下:
1.本申请实施例提供的数据移植的方法中对移植数据特点的特殊角度分析分类,明确了数据转换的思路。完成原系统206张表的分类及与新一代电话支付系统177张表的所属用户、字段(类型、大小、内容)、主键等的转换关系(包含一对一、多对一、一对多、新增、删除、合并),2人仅花费了不到一周时间,大大节省了数据分析的时间;
2.支持多种数据移植方式,给出移植方式选取建议,多样化了操作流程。通过选择多种合适的移植方式及配合移植步骤地使用,T日仅剩的50G数据量,仅花费1个小时即完成了复杂的移植工作,大大提高了移植效率,缩短了新系统的换代上线时间。
3.自主研发的工具操作简单、灵活,使移植工作显得很轻松、便捷、安全,自带过程监控及数据校验展示,移植结果一目了然,很好保证了数据移植前后业务数据的准确性。
实施例2
根据本发明实施例的另一方面,还提供了一种数据移植的装置,图8是根据本发明实施例的一种数据移植的装置的示意图,如图8所示,包括:获取模块82,用于获取数据移植的开发和测试环境和数据库中各类目的对照信息;工具生成模块84,用于依据数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具;移植模块86,用于依据数据移植工具对待移植数据进行数据移植。
实施例3
根据本发明实施例的又一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行上述实施例1中的数据移植的方法。
实施例4
根据本发明实施例的再一方面,还提供了一种处理器,处理器用于运行存储在存储介质中的程序,其中,程序运行时执行上述实施例1中的数据移植的方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据移植的方法,其特征在于,包括:
获取数据移植的开发和测试环境和数据库中各类目的对照信息;
依据所述数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具;
依据所述数据移植工具对待移植数据进行数据移植。
2.根据权利要求1所述的方法,其特征在于,获取数据库中各类目的对照信息包括:
获取简化数据库用户间移植对照信息、简化数据库表之间移植对照信息和简化表字段之间移植对照信息;
将所述简化数据库用户间移植对照信息、所述简化数据库表之间移植对照信息和所述简化表字段之间移植对照信息确定为所述数据库中各类目的对照信息。
3.根据权利要求1或2所述的方法,其特征在于,依据所述数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具包括:
在所述数据移植的开发和测试环境包括指定数据库软件的情况下,依据所述指定数据库软件基于模拟测试环境,并与所述数据库中各类目的对照信息进行数据测试,得到所述数据移植工具。
4.根据权利要求3所述的方法,其特征在于,依据所述数据移植工具对待移植数据进行数据移植包括:
将待移植数据进行生产取数测试,并将测试后的所述待移植数据通过业务数据确认进行数据校验,得到校验后的所述待移植数据;
优化所述数据移植工具的移植效率,并对所述校验后的所述待移植数据进行数据移植。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取所述待移植数据,并将所述待移植数据生成待处理文件;
将所述待处理文件导入数据库中,并校验导入数据与预先存储的数据是否一致;
在校验结果为是的情况下,根据更新后表格的主键字段,在数据服务器中进行去重处理;检查依赖表是否导入,运行所述数据移植工具生成数据文件,并执行导入指令,将所述数据文件导入数据库,校验所述数据库中的记录条数与预存表中的记录条数,对导入数据的表进行重建索引;
在校验结果为否的情况下,重新获取所述待移植数据。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
通过预设表格工具对所述待移植数据与待导入位置进行分析;以及,通过预设至少一种移植方式,对所述待移植数据进行移植。
7.根据权利要求4所述的方法,其特征在于,所述方法还包括:
通过将生产数据进行流程脱敏、分类汇总后与业务进行紧密交流以确认数据的安全、合理的处理方式。
8.根据权利要求4所述的方法,其特征在于,所述方法还包括:
将移植操作进行分步骤实施,移植所述待移植数据。
9.一种数据移植的装置,其特征在于,包括:
获取模块,用于获取数据移植的开发和测试环境和数据库中各类目的对照信息;
工具生成模块,用于依据所述数据移植的开发和测试环境和数据库中各类目的对照信息,生成数据移植工具;
移植模块,用于依据所述数据移植工具对待移植数据进行数据移植。
10.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的数据移植的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010415208.5A CN111580862A (zh) | 2020-05-15 | 2020-05-15 | 数据移植的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010415208.5A CN111580862A (zh) | 2020-05-15 | 2020-05-15 | 数据移植的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111580862A true CN111580862A (zh) | 2020-08-25 |
Family
ID=72113848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010415208.5A Pending CN111580862A (zh) | 2020-05-15 | 2020-05-15 | 数据移植的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111580862A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999052047A1 (en) * | 1998-04-07 | 1999-10-14 | Sage Implementations, L.L.C. | Method and system for migrating data |
KR20080084332A (ko) * | 2007-03-16 | 2008-09-19 | (주)온디멘드 | 데이터베이스 마이그레이션 장치 및 방법 |
CN102831211A (zh) * | 2012-08-14 | 2012-12-19 | 中山大学 | 一种基于表关联分析的数据表迁移的方法 |
CN103793424A (zh) * | 2012-10-31 | 2014-05-14 | 阿里巴巴集团控股有限公司 | 数据库数据迁移方法及系统 |
CN104899333A (zh) * | 2015-06-24 | 2015-09-09 | 浪潮(北京)电子信息产业有限公司 | 一种Oracle数据库跨平台迁移方法和系统 |
CN107092700A (zh) * | 2017-05-02 | 2017-08-25 | 山东浪潮通软信息科技有限公司 | 一种基于大数据量下批量导入数据的方法及装置 |
CN107491515A (zh) * | 2017-08-11 | 2017-12-19 | 国电南瑞科技股份有限公司 | 基于大数据平台的智能配用电数据转换方法 |
US20180095953A1 (en) * | 2016-10-05 | 2018-04-05 | Sap Se | Multi-procedure support in data migration |
CN108959470A (zh) * | 2018-06-20 | 2018-12-07 | 郑州云海信息技术有限公司 | 一种数据库数据跨平台迁移方法和装置 |
CN110019138A (zh) * | 2017-12-29 | 2019-07-16 | 中国移动通信集团公司 | 一种基于Zabbix的传输表空间自动迁移方法和系统 |
-
2020
- 2020-05-15 CN CN202010415208.5A patent/CN111580862A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999052047A1 (en) * | 1998-04-07 | 1999-10-14 | Sage Implementations, L.L.C. | Method and system for migrating data |
KR20080084332A (ko) * | 2007-03-16 | 2008-09-19 | (주)온디멘드 | 데이터베이스 마이그레이션 장치 및 방법 |
CN102831211A (zh) * | 2012-08-14 | 2012-12-19 | 中山大学 | 一种基于表关联分析的数据表迁移的方法 |
CN103793424A (zh) * | 2012-10-31 | 2014-05-14 | 阿里巴巴集团控股有限公司 | 数据库数据迁移方法及系统 |
CN104899333A (zh) * | 2015-06-24 | 2015-09-09 | 浪潮(北京)电子信息产业有限公司 | 一种Oracle数据库跨平台迁移方法和系统 |
US20180095953A1 (en) * | 2016-10-05 | 2018-04-05 | Sap Se | Multi-procedure support in data migration |
CN107092700A (zh) * | 2017-05-02 | 2017-08-25 | 山东浪潮通软信息科技有限公司 | 一种基于大数据量下批量导入数据的方法及装置 |
CN107491515A (zh) * | 2017-08-11 | 2017-12-19 | 国电南瑞科技股份有限公司 | 基于大数据平台的智能配用电数据转换方法 |
CN110019138A (zh) * | 2017-12-29 | 2019-07-16 | 中国移动通信集团公司 | 一种基于Zabbix的传输表空间自动迁移方法和系统 |
CN108959470A (zh) * | 2018-06-20 | 2018-12-07 | 郑州云海信息技术有限公司 | 一种数据库数据跨平台迁移方法和装置 |
Non-Patent Citations (2)
Title |
---|
叶旻: "《银行业用户验收测试实战汇编=Practical Compilation of Banking User Acceptance Test》", 中国金融出版社, pages: 381 * |
宋鹏: "基于Oracle9i的数据迁移方案设计及性能优化", no. 6, pages 358 - 361 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6016394A (en) | Method and system for database application software creation requiring minimal programming | |
Wasserman et al. | The future of programming | |
CN102033743B (zh) | 一种应用插件扩充模型驱动开发能力的系统及其方法 | |
CN108600148B (zh) | 一种交易报文处理方法及装置 | |
CN102117306B (zh) | Etl数据处理过程的监控方法及其系统 | |
CN106445536B (zh) | 自动化业务设计管理系统 | |
US8024373B2 (en) | Computer-implemented system for producing, processing and managing structured data sets | |
CN108268615B (zh) | 一种数据处理方法、装置以及系统 | |
CN111190814B (zh) | 软件测试用例的生成方法、装置、存储介质及终端 | |
US20060047723A1 (en) | Custom database system and method of building the same | |
US20100011018A1 (en) | Custom database system and method of building the same | |
US20100010842A1 (en) | Computer-Implemented Systems and methods for Producing, Processing and Managing Structured Data Sets | |
CN111580862A (zh) | 数据移植的方法和装置 | |
US20230195792A1 (en) | Database management methods and associated apparatus | |
CN114969127A (zh) | 一种自动组合调账交易的调账方法、调账系统及存储介质 | |
CN112051987B (zh) | 业务数据处理方法、装置及设备、程序生成方法及装置 | |
CN108763066A (zh) | 一种词槽设计的自然语言测试脚本编辑方法及测试机器人 | |
CN114579470A (zh) | 一种单元测试方法、装置、电子设备及存储介质 | |
US20080022258A1 (en) | Custom database system and method of building and operating the same | |
US8631393B2 (en) | Custom database system and method of building and operating the same | |
WO2005089350A2 (en) | Custom database system and method of building the same | |
CN118445293B (zh) | 一种复杂业务场景下多级数据联动方法、装置及存储介质 | |
KR20150065292A (ko) | 관계형 데이터베이스를 이용한 erp 프로그램 자동변환방법 | |
CN115826932B (zh) | 评估模型及评估模型构建方法 | |
CN115934684B (zh) | 一种多源数据库数据移植方法及装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200825 |