CN111651428A - 一种基于国产数据库迁移环境下的双轨运行方法 - Google Patents
一种基于国产数据库迁移环境下的双轨运行方法 Download PDFInfo
- Publication number
- CN111651428A CN111651428A CN202010441907.7A CN202010441907A CN111651428A CN 111651428 A CN111651428 A CN 111651428A CN 202010441907 A CN202010441907 A CN 202010441907A CN 111651428 A CN111651428 A CN 111651428A
- Authority
- CN
- China
- Prior art keywords
- dataone
- service
- data
- database
- old
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005012 migration Effects 0.000 title claims abstract description 28
- 238000013508 migration Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000001360 synchronised effect Effects 0.000 claims abstract description 4
- 230000008676 import Effects 0.000 claims description 7
- 238000013481 data capture Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于国产数据库迁移环境下的双轨运行方法，包括以下步骤：ORACLE数据库迁移至达梦数据库；在浪擎DataOne界面上配置异构数据转换策略；采用浪擎DataOne全量同步功能，实现全量数据迁移，采用浪擎DataOne的增量同步功能，将业务的新增与变化数据复制到达梦数据库，保证新老业务系统数据及时同步，同步频率是分钟级；然后将新老业务系统并轨运行一段时间；老系统跑流程进行业务运行，新系统做展示，将业务数据进行展示出来；待业务系统在国产环境中稳定后，停止老业务系统。本发明通过使用双轨运行方案可以保证数据的及时同步，保证业务稳定运行，减少人力物力的投入，该方案是解决当前国产环境数据库迁移的一种非常有效而稳定的方案。
Description
技术领域
本发明涉及数据库迁移领域，特别涉及一种基于国产数据库迁移环境下的双轨运行方法。
背景技术
目前针对ORACLE数据库向达梦数据库迁移的工具非常稀少，主要问题有：1、达梦的DTS工具仅仅可以针对数据库的全量进行迁移，而无法对增量数据进行迁移；2、异构数据库带来的技术细节差异，给新系统带来大量问题，如编码不同使得显示有乱码，DTS无自定义异构数据转换配置，需使用者编写程序来处理；3、每次全量都需要重复一次转码工作，重复全量传输和数据转码工作，上百万文档转码需要数天时间。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于国产数据库迁移环境下的双轨运行方法。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种基于国产数据库迁移环境下的双轨运行方法，包括以下步骤：
（1）ORACLE数据库采用达梦自带DTS工具做数据库对象迁移至达梦数据库，仅使用一次；
（2）在浪擎DataOne界面上配置异构数据转换策略；
（3）采用浪擎DataOne全量同步功能，实现全量数据迁移，无需停顿老业务系统；
（4）采用浪擎DataOne的增量同步功能，将业务的新增与变化数据复制到达梦数据库，保证新老业务系统数据及时同步，同步频率是分钟级；
（5）然后将新老业务系统并轨运行一段时间；
（6）老系统跑流程进行业务运行，新系统做展示，将业务数据进行展示出来；
（7）待业务系统在国产环境中稳定后，停止老业务系统。
作为本发明的一种优选技术方案，所述浪擎DataOne包含有作为DataOne前台的React+AntDesign框架、作为DataOne中台的SpringCloud模块、作为消息队列的Kafka模块、作为DataOne中台数据库的MySQL模块和Redis模块。
作为本发明的一种优选技术方案，所述作为DataOne中台的SpringCloud模块还作为DataOne底层，所述作为DataOne底层包含有源数据抓取层、数据转换层和数据导入层。
与现有技术相比，本发明的有益效果如下：
1、采用达梦现有的DTS工具配置任务迁移数据库对象（表，索引，视图，图表，缺省值，规则，触发器，用户，函数等）；
2、数据层可通过dataone进行配置全量、增量、全量+增量、存量等实现可视化、多功能、高效率、并发并行迁移工作；
3、通过dataone提供的页面，可视化的配置任务的迁移到达梦的工作，后台根据用户所配置的信息，动态生成DTS所能识别的xml配置文件，并调用DTS完成数据库表对象的迁移工作，其次根据用户所需业务场景进行全量、增量、增量+全量、存量的形式进行数据的迁移工作；
本发明通过使用双轨运行方案可以保证数据的及时同步，保证业务稳定运行，减少人力物力的投入，该方案是解决当前国产环境数据库迁移的一种非常有效而稳定的方案。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的框架结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
如图1所示，本发明提供一种基于国产数据库迁移环境下的双轨运行方法，包括以下步骤：
（1）ORACLE数据库采用达梦自带DTS工具做数据库对象迁移至达梦数据库，仅使用一次；
（2）在浪擎DataOne界面上配置异构数据转换策略；
（3）采用浪擎DataOne全量同步功能，实现全量数据迁移，无需停顿老业务系统；
（4）采用浪擎DataOne的增量同步功能，将业务的新增与变化数据复制到达梦数据库，保证新老业务系统数据及时同步，同步频率是分钟级；
（5）然后将新老业务系统并轨运行一段时间；
（6）老系统跑流程进行业务运行，新系统做展示，将业务数据进行展示出来；
（7）待业务系统在国产环境中稳定后，停止老业务系统。
所述浪擎DataOne包含有作为DataOne前台的React+AntDesign框架、作为DataOne中台的SpringCloud模块、作为消息队列的Kafka模块、作为DataOne中台数据库的MySQL模块和Redis模块。
所述作为DataOne中台的SpringCloud模块还作为DataOne底层，所述作为DataOne底层包含有源数据抓取层、数据转换层和数据导入层。
具体的，采用作为DataOne前台的React+AntDesign框架提供为用户友好的界面，便捷、快速、实时地分配、配置、监控任务；
作为DataOne中台的SpringCloud模块为页面提供相关服务API：系统安全、权限管理、任务配置、实时监控、数据分析的功能；中后台交互：实时监控任务操作，通过http/https协议向DataOne后台发送指示，对底层进程进行实时操作；
作为消息队列的Kafka模块主要存放任务抽取过程中的源数据、目的端数据，用于模块间的数据共享，优势：先进先出的特点保证数据的顺序性；kafka性能优势，可构建准实时数据通道，提高系统性能；
作为DataOne中台数据库的MySQL模块和Redis模块，MySQL模块用于存放DataOne系统数据，如用户信息、任务信息等，简单快速；Redis模块用于系统用户信息缓存、任务进程信息存储等；如用户信息不变，存于缓存中，可大大提高系统性能；
DataOne底层包含有源数据抓取层、数据转换层和数据导入层，源数据抓取层：支持可进行存量、增量、存量+增量的形式对多种数据源抓取的数据进行抓取；
数据转换层：支持页面配置（清洗、脱敏、异构转换等）与脚本配置的形式对源数据进行转换；
数据导入层：支持国内外多种数据库；通过kafkaconnect组件支持国外主流数据库的导入，通过jdbc预编译导入国内达梦数据库。
与现有技术相比，本发明的有益效果如下：
1、采用达梦现有的DTS工具配置任务迁移数据库对象（表，索引，视图，图表，缺省值，规则，触发器，用户，函数等）；
2、数据层可通过dataone进行配置全量、增量、全量+增量、存量等实现可视化、多功能、高效率、并发并行迁移工作；
3、通过dataone提供的页面，可视化的配置任务的迁移到达梦的工作，后台根据用户所配置的信息，动态生成DTS所能识别的xml配置文件，并调用DTS完成数据库表对象的迁移工作，其次根据用户所需业务场景进行全量、增量、增量+全量、存量的形式进行数据的迁移工作；
本发明通过使用双轨运行方案可以保证数据的及时同步，保证业务稳定运行，减少人力物力的投入，该方案是解决当前国产环境数据库迁移的一种非常有效而稳定的方案。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于国产数据库迁移环境下的双轨运行方法，其特征在于，包括以下步骤：
（1）ORACLE数据库采用达梦自带DTS工具做数据库对象迁移至达梦数据库，仅使用一次；
（2）在浪擎DataOne界面上配置异构数据转换策略；
（3）采用浪擎DataOne全量同步功能，实现全量数据迁移，无需停顿老业务系统；
（4）采用浪擎DataOne的增量同步功能，将业务的新增与变化数据复制到达梦数据库，保证新老业务系统数据及时同步，同步频率是分钟级；
（5）然后将新老业务系统并轨运行一段时间；
（6）老系统跑流程进行业务运行，新系统做展示，将业务数据进行展示出来；
（7）待业务系统在国产环境中稳定后，停止老业务系统。
2.根据权利要求1所述的一种基于国产数据库迁移环境下的双轨运行方法，其特征在于，所述浪擎DataOne包含有作为DataOne前台的React+AntDesign框架、作为DataOne中台的SpringCloud模块、作为消息队列的Kafka模块、作为DataOne中台数据库的MySQL模块和Redis模块。
3.根据权利要求1所述的一种基于国产数据库迁移环境下的双轨运行方法，其特征在于，所述作为DataOne中台的SpringCloud模块还作为DataOne底层，所述作为DataOne底层包含有源数据抓取层、数据转换层和数据导入层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010441907.7A CN111651428A (zh) | 2020-05-22 | 2020-05-22 | 一种基于国产数据库迁移环境下的双轨运行方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010441907.7A CN111651428A (zh) | 2020-05-22 | 2020-05-22 | 一种基于国产数据库迁移环境下的双轨运行方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111651428A true CN111651428A (zh) | 2020-09-11 |
Family
ID=72346688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010441907.7A Pending CN111651428A (zh) | 2020-05-22 | 2020-05-22 | 一种基于国产数据库迁移环境下的双轨运行方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111651428A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632035A (zh) * | 2020-12-24 | 2021-04-09 | 广州辰创科技发展有限公司 | 面向自主可控数据库迁移方法及存储介质 |
| CN113051247A (zh) * | 2021-03-18 | 2021-06-29 | 福建星瑞格软件有限公司 | 一种基于日志同步的数据库迁移方法及系统 |
| CN114077601A (zh) * | 2021-11-26 | 2022-02-22 | 山东福生佳信科技股份有限公司 | 一种适用于不同数据库的数据同步系统的运作方法 |
-
2020
- 2020-05-22 CN CN202010441907.7A patent/CN111651428A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632035A (zh) * | 2020-12-24 | 2021-04-09 | 广州辰创科技发展有限公司 | 面向自主可控数据库迁移方法及存储介质 |
| CN113051247A (zh) * | 2021-03-18 | 2021-06-29 | 福建星瑞格软件有限公司 | 一种基于日志同步的数据库迁移方法及系统 |
| CN114077601A (zh) * | 2021-11-26 | 2022-02-22 | 山东福生佳信科技股份有限公司 | 一种适用于不同数据库的数据同步系统的运作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111651428A (zh) | 一种基于国产数据库迁移环境下的双轨运行方法 | |
| CN109063196A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN104899325A (zh) | 一种app采集数据的收集方法、终端、服务器及系统 | |
| CN104699723A (zh) | 数据交换适配器、异构系统之间数据同步系统和方法 | |
| CN115033646B (zh) | 一种基于Flink&Doris构建实时数仓系统的方法 | |
| CN112433998A (zh) | 一种基于电力系统的多源异构数据采集汇聚系统及方法 | |
| CN108924007B (zh) | 通信运营信息的大数据采集及存储系统和方法 | |
| CN204046642U (zh) | 一种支持多协议的通信网关 | |
| CN103645904A (zh) | 一种接口调用的缓存实现方法 | |
| CN103248512A (zh) | 通信网络中应用层拓扑结构的生成方法和系统 | |
| CN102222112B (zh) | 资源管理装置和资源管理方法 | |
| CN106534272A (zh) | 一种燃煤机组参数处理系统及方法 | |
| CN112015795A (zh) | 一种大数据量即席查询的系统和方法 | |
| CN115146000A (zh) | 一种数据库数据同步方法、装置、电子设备及存储介质 | |
| CN101621535A (zh) | 一种实时监控系统网络通讯方法和装置 | |
| CN116644136A (zh) | 一种增量和全量数据的数据采集方法、装置、设备及介质 | |
| CN117235178A (zh) | 一种基于区块链技术和大数据的数据同步调度管控系统 | |
| CN110704448A (zh) | 数据同步方法及装置、服务器 | |
| CN112506886B (zh) | 一种多源业务操作日志采集方法及系统 | |
| CN115952238A (zh) | 一种数据同步的方法及装置 | |
| CN106557530A (zh) | 业务系统、数据修复方法及装置 | |
| CN109408567A (zh) | 一种大数据处理平台网络架构 | |
| CN103559000A (zh) | 一种面向质量的海量影像数据迁移方法和系统 | |
| CN204652428U (zh) | 一种分布式数据库管理系统 | |
| CN113495925A (zh) | 企业人员数据同步企业微信通讯录的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200911 |