CN112632035A - 面向自主可控数据库迁移方法及存储介质 - Google Patents

面向自主可控数据库迁移方法及存储介质 Download PDF

Info

Publication number
CN112632035A
CN112632035A CN202011552330.3A CN202011552330A CN112632035A CN 112632035 A CN112632035 A CN 112632035A CN 202011552330 A CN202011552330 A CN 202011552330A CN 112632035 A CN112632035 A CN 112632035A
Authority
CN
China
Prior art keywords
database
data
target
source
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011552330.3A
Other languages
English (en)
Inventor
高阿龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Chenchuang Technology Development Co ltd
Original Assignee
Guangzhou Chenchuang Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Chenchuang Technology Development Co ltd filed Critical Guangzhou Chenchuang Technology Development Co ltd
Priority to CN202011552330.3A priority Critical patent/CN112632035A/zh
Publication of CN112632035A publication Critical patent/CN112632035A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451—User profiles; Roaming

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向自主可控数据库迁移方法及存储介质，本发明的方法包括：配置异构数据转换策略，动态生成DTS工具能识别的配置文件；采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库；对源数据库进行增量同步迁移。本发明通过将可控数据库作为源端的数据实时同步分发至MySQL数据库或Oracle数据库，也支持以可控数据库作为目标端，将MySQL数据库和Oracle数据库的数据同步至自主可控数据库中，实现自主可控数据库与其他传统型数据库的双向迁移，满足用户面临的业务压力，在迁移过程中，保障了数据的完整性，为业务系统提供了良好的数据基础。

Description

面向自主可控数据库迁移方法及存储介质
技术领域
本发明涉及数据库领域，具体涉及一种面向自主可控数据库迁移方法及存储介质。
背景技术
传统集中型数据库，成本高、扩容难、性能受限，传统模式下靠采购高端设备以及增加硬件来保证数据库可用性和扩展性的方案正面临越来越大的压力。因此，越来越多企业开始发布自主可控数据库，自主可控数据库具备高扩展性、高性能、高可等特性，可很好的满足产业互联时代线上化、高频、高纬度、高并发的场景要求，得到越来越广泛的使用。在应用场景中，进行数据库迁移是必不可少的，数据库迁移是指从一个数据库到另一个数据库之间的任意形式的数据移动，具体需要在存储类型、格式和计算机系统之间的数据转换，通常需要有计划的来完成一个自动的迁移，从单调的任务中解放人力资源。而如何实现自主可控数据库与传统数据库之间的迁移，是必须要解决的问题。
发明内容
鉴于以上技术问题，本发明的目的在于提供一种面向自主可控数据库迁移方法及存储介质，解决自主可控数据库与传统数据库之间数据迁移的问题。
本发明采用以下技术方案：
面向自主可控数据库迁移方法，包括:
配置异构数据转换策略，动态生成DTS工具能识别的配置文件；
采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库；
对源数据库进行增量同步迁移。
进一步的，采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库的步骤包括：
对源数据库对象进行抓取，将抓取的数据库对象进行数据转换，将转换后的数据库对象导入至目标数据库。
进一步的，所述增量同步迁移的步骤包括：
获取增量日志；解析获取源数据库的增量数据改动日志，并将获取到的日志解析封装为JSON协议的消息体，投送至消息队列；
将消息队列中的CDC消息消费出来，并根据配置重放到目标实例中。
进一步的，当源数据库是MySQL数据库或自主可控数据库时，获取的增量日志为binlog事件。
进一步的，当源数据库是oracle数据库时,获取增量日志的步骤包括从oracle数据库的物化视图日志中获取增量数据并进行封装和投送。
进一步的，采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库的步骤包括：
采用DTS工具配置源数据库的数据库对象，将配置后的源数据库的数据库对象全量迁移至中间数据库，将中间数据库的数据转换成目标数据库的数据结构，将转换后的数据结构存储至目标数据库，所述数据库对象包括表、索引、视图、图表、缺省值、规则、触发器、用户和函数。
进一步的，异构数据转换策略包括：
将所述源数据转换为第一逗号分隔符CSV格式数据；
向所述目标数据库发送所述第一逗号分隔符CSV格式数据的第一批量导入指令，所述第一批量导入指令用于指示所述目标数据库将所述第一逗号分隔符CSV格式数据批量导入到目标数据库的目标数据表中。
进一步的，在对源数据进行增量同步迁移中，支持幂等逻辑，向目标数据库发送日志幂等回放指令，所述幂等回放指令用于指示所述目标数据库将所述增量日志进行幂等回放。
进一步的，向目标数据库发送日志幂等回放指令的步骤包括：确定所述增量日志中的每条操作记录的操作类型；若所述操作类型为插入，则将所述操作类型为插入的操作记录中的插入数据转换为第二逗号分隔符CSV格式数据，并向所述目标数据库发送所述第二逗号分隔符CSV格式数据的第二批量导入指令，所述第二批量导入指令用于指示将所述第二逗号分隔符CSV格式数据批量导入到所述目标数据库的目标数据表中；若所述操作类型为更新或删除，则将所述操作类型为更新或删除的操作记录转换为第一结构化查询语言执行语句，并向所述目标数据库发送所述第一结构化查询语言执行语句的第一执行指令，所述第一执行指令用于指示所述目标数据库在所述目标数据库的目标数据表上运行所述第一结构化查询语言执行语句。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时，实现所述的面向自主可控数据库迁移方法。
相比现有技术，本发明的有益效果在于：
本发明通过将可控数据库作为源端的数据实时同步分发至MySQL数据库或Oracle数据库，也支持以可控数据库作为目标端，将MySQL数据库和Oracle数据库的数据同步至自主可控数据库中，实现自主可控数据库与其他传统型数据库的双向迁移，满足用户面临的业务压力，在迁移过程中，保障了数据的完整性，为业务系统提供了良好的数据基础。
附图说明
图1为本发明的面向自主可控数据库迁移方法实施例一的流程示意图；
图2为本发明的面向自主可控数据库迁移方法实施例二的流程示意图；
图3为本发明的面向自主可控数据库迁移方法提供的一种电子设备实施例三的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例：
实施例一：
本发明的面向自主可控数据库迁移方法，请参照图1所示，包括:
步骤S1:配置异构数据转换策略，动态生成DTS工具能识别的配置文件；
具体的，异构数据转换策略包括：
将所述源数据转换为第一逗号分隔符CSV(Comma-Separated Values，逗号分隔值)格式数据；
向所述目标数据库发送所述第一逗号分隔符CSV格式数据的第一批量导入指令，所述第一批量导入指令用于指示所述目标数据库将所述第一逗号分隔符CSV格式数据批量导入到目标数据库的目标数据表中。
步骤S2:采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库；
采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库的步骤包括：
对源数据库对象进行抓取，将抓取的数据库对象进行数据转换，将转换后的数据库对象导入至目标数据库。
需要说明的是，DTS是Data Transmission Service的简称，即数据传输服务，是一种支持关系型数据库、非关系型数据库、在线分析处理等多种数据源之间数据交互的数据服务，可提供数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。
具体的，采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库的步骤包括：
采用DTS工具配置源数据库的数据库对象，将配置后的源数据库的数据库对象全量迁移至中间数据库，将中间数据库的数据转换成目标数据库的数据结构，将转换后的数据结构存储至目标数据库。
具体的，在整个数据迁移过程中，会涉及三个库，源数据库、中间数据库和目标数据库，源数据库，将要迁移的数据存放在待迁移数据源库里；中间库是待迁移源数据库的同步备份，目的是利用DTS的数据迁移能力将待迁移源数据库的数据同步至中间数据库，然后再在中间数据库上做个性化数据转换并存储到待迁移目标数据库；目标数据库即迁移完成后的数据存放在待迁移目标数据库。
其中，所述数据库对象可包括表、索引、视图、图表、缺省值、规则、触发器、用户和函数，但不具体限定。
在上述实现过程中，本发明通过将可控数据库作为源端的数据实时同步分发至MySQL数据库或Oracle数据库，也支持以可控数据库作为目标端，将MySQL数据库和Oracle数据库的数据同步至自主可控数据库中，实现面向自主可控数据库与其他传统型数据库的双向迁移。
步骤S3:对源数据库进行增量同步迁移。
实施例二：
本发明的面向自主可控数据库迁移方法，请参照图2所示，包括:
步骤S10:配置异构数据转换策略，动态生成DTS工具能识别的配置文件；
步骤S20:采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库；
步骤S30:获取增量日志；解析获取源数据库的增量数据改动日志，并将获取到的日志解析封装为JSON协议的消息体，投送至消息队列；
步骤S31:将消息队列中的CDC消息消费出来，并根据配置重放到目标实例中。
具体的，当源数据库是MySQL数据库或自主可控数据库时，获取的增量日志为binlog事件。
其中，MySQL数据库和Oracle数据库都是一种广泛应用于各大互联网公司和产品中的一个数据库管理系统；这里双向迁移的数据库可不是MySQL数据库或Oracle数据库，仅作示例。
具体的，当源数据库是oracle数据库时,获取增量日志的步骤包括从oracle数据库的物化视图日志中获取增量数据并进行封装和投送。
具体的，获取增量日志的步骤中，负责解析获取源端的增量数据改动日志，并将获取的到的日志解析封装为JSON协议的消息体，投送至消息队列。当源端是MySQL或自主可控数据库时，获取的增量日志为binlog事件，这里要求binlog事件必须是row格式且为full-image。当源端是oracle数据库,从oracle数据库的物化视图日志中获取增量数据并进行封装和投送。在消息队列中，因为数据库系统日志中有顺序性要求，因此这里所有的topic的partition个数均为1，保证能够按序消费。通过日志消费和重放模块负责从消息队列从将CDC消息消费出来并根据配置重放到目标实例中。
需要说明的是，Binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，当有数据写入到数据库时，会同时把更新的语句写入到对应Binlog文件里。随着数据源源不断的迁入，也将伴随着源源不断产生Binlog。
在对源数据进行增量同步迁移中，支持幂等逻辑，向目标数据库发送日志幂等回放指令，所述幂等回放指令用于指示所述目标数据库将所述增量日志进行幂等回放，以保障数据重放的正确性。
可选的，向目标数据库发送日志幂等回放指令的步骤包括：确定所述增量日志中的每条操作记录的操作类型；若所述操作类型为插入，则将所述操作类型为插入的操作记录中的插入数据转换为第二逗号分隔符CSV格式数据，并向所述目标数据库发送所述第二逗号分隔符CSV格式数据的第二批量导入指令，所述第二批量导入指令用于指示将所述第二逗号分隔符CSV格式数据批量导入到所述目标数据库的目标数据表中；若所述操作类型为更新或删除，则将所述操作类型为更新或删除的操作记录转换为第一结构化查询语言执行语句，并向所述目标数据库发送所述第一结构化查询语言执行语句的第一执行指令，所述第一执行指令用于指示所述目标数据库在所述目标数据库的目标数据表上运行所述第一结构化查询语言执行语句。
其中，INSERT插入、UPDATE更新、DELETE删除三种指令，是开发以数据为中心的应用程序必定会使用到的操作类型指令。
通过支持幂等逻辑后，便于数据的修复，且在数据同步的过程中，不需要记录镜像点，便于运维，保证按照binlog事件的意图去对目标实例进行修改，如INSERT插入事件，其意图就是要在数据库中有一条new值标识的记录，UPDATE更新事件的意图就是，数据库中没有old值标识的记录，只有new值标识的记录；DELETE删除操作也是同样，其结果就是要求目标数据库中，不包含old值标识的记录。
在上述实现过程中，本发明的增量同步迁移支持以可控数据库作为源端的数据实时同步分发至MySQL数据库、Oracle数据库、消息队列等平台，也支持以可控数据库作为目标端，将MySQL数据库、Oracle数据库的数据同步至自主可控数据库中，实现面向自主可控数据库与其他传统型数据库的双向迁移。
实施例三：
图3为本申请实施例提供的一种电子设备的结构示意图，在本申请中可以通过图3所示的示意图来描述用于实现本申请实施例的本发明面向自主可控数据库迁移方法的电子设备100。
如图3所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意，图3所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图3示出的部分组件，也可以具有图3未示出的其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本申请实施例中(由处理器实现)的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
本发明还提供一种计算机存储介质，其上存储有计算机程序，本发明的方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在该计算机存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机存储介质不包括电载波信号和电信信号。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.面向自主可控数据库迁移方法，其特征在于，包括:
配置异构数据转换策略，动态生成DTS工具能识别的配置文件；
采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库；
对源数据库进行增量同步迁移。
2.根据权利要求1所述的面向自主可控数据库迁移方法，其特征在于，采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库的步骤包括：
对源数据库对象进行抓取，将抓取的数据库对象进行数据转换，将转换后的数据库对象导入至目标数据库。
3.根据权利要求1所述的面向自主可控数据库迁移方法，其特征在于，所述增量同步迁移的步骤包括：
获取增量日志；解析获取源数据库的增量数据改动日志，并将获取到的日志解析封装为JSON协议的消息体，投送至消息队列；
将消息队列中的CDC消息消费出来，并根据配置重放到目标实例中。
4.根据权利要求3所述的面向自主可控数据库迁移方法，其特征在于，当源数据库是MySQL数据库或自主可控数据库时，获取的增量日志为binlog事件。
5.根据权利要求3所述的面向自主可控数据库迁移方法，其特征在于，当源数据库是oracle数据库时,获取增量日志的步骤包括从oracle数据库的物化视图日志中获取增量数据并进行封装和投送。
6.根据权利要求3所述的面向自主可控数据库迁移方法，其特征在于，采用DTS工具将源数据库的数据库对象全量数据迁移至目标数据库的步骤包括：
采用DTS工具配置源数据库的数据库对象，将配置后的源数据库的数据库对象全量迁移至中间数据库，将中间数据库的数据转换成目标数据库的数据结构，将转换后的数据结构存储至目标数据库，所述数据库对象包括表、索引、视图、图表、缺省值、规则、触发器、用户和函数。
7.根据权利要求3所述的面向自主可控数据库迁移方法，其特征在于，异构数据转换策略包括：
将源数据转换为第一逗号分隔符CSV格式数据；
向所述目标数据库发送所述第一逗号分隔符CSV格式数据的第一批量导入指令，所述第一批量导入指令用于指示所述目标数据库将所述第一逗号分隔符CSV格式数据批量导入到目标数据库的目标数据表中。
8.根据权利要求3所述的面向自主可控数据库迁移方法，其特征在于，在对源数据进行增量同步迁移中，支持幂等逻辑，向目标数据库发送日志幂等回放指令，所述幂等回放指令用于指示所述目标数据库将所述增量日志进行幂等回放。
9.根据权利要求8所述的面向自主可控数据库迁移方法，其特征在于，向目标数据库发送日志幂等回放指令的步骤包括：确定所述增量日志中的每条操作记录的操作类型；若所述操作类型为插入，则将所述操作类型为插入的操作记录中的插入数据转换为第二逗号分隔符CSV格式数据，并向所述目标数据库发送所述第二逗号分隔符CSV格式数据的第二批量导入指令，所述第二批量导入指令用于指示将所述第二逗号分隔符CSV格式数据批量导入到所述目标数据库的目标数据表中；若所述操作类型为更新或删除，则将所述操作类型为更新或删除的操作记录转换为第一结构化查询语言执行语句，并向所述目标数据库发送所述第一结构化查询语言执行语句的第一执行指令，所述第一执行指令用于指示所述目标数据库在所述目标数据库的目标数据表上运行所述第一结构化查询语言执行语句。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时，实现如权利要求1至9任一项所述的面向自主可控数据库迁移方法。
CN202011552330.3A 2020-12-24 2020-12-24 面向自主可控数据库迁移方法及存储介质 Pending CN112632035A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011552330.3A CN112632035A (zh) 2020-12-24 2020-12-24 面向自主可控数据库迁移方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011552330.3A CN112632035A (zh) 2020-12-24 2020-12-24 面向自主可控数据库迁移方法及存储介质

Publications (1)

Publication Number Publication Date
CN112632035A true CN112632035A (zh) 2021-04-09

Family

ID=75324451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011552330.3A Pending CN112632035A (zh) 2020-12-24 2020-12-24 面向自主可控数据库迁移方法及存储介质

Country Status (1)

Country Link
CN (1) CN112632035A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157670A (zh) * 2021-05-10 2021-07-23 中国工商银行股份有限公司 数据库的数据迁移方法及系统
CN113297182A (zh) * 2021-06-16 2021-08-24 中国农业银行股份有限公司 数据迁移方法、设备、存储介质及程序产品
CN113468144A (zh) * 2021-07-23 2021-10-01 上海蒙帕信息技术有限公司 一种数据库迁移方法及其迁移装置
CN114925123A (zh) * 2022-04-24 2022-08-19 杭州悦数科技有限公司 一种分布式的图数据库与图计算系统间的数据传输方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019140A (zh) * 2017-12-29 2019-07-16 华为技术有限公司 数据迁移方法、装置、设备以及计算机可读存储介质
CN110532241A (zh) * 2019-07-18 2019-12-03 政采云有限公司 利用MySQL Binlog进行不停机数据迁移方法
CN111651428A (zh) * 2020-05-22 2020-09-11 上海浪擎信息科技有限公司 一种基于国产数据库迁移环境下的双轨运行方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019140A (zh) * 2017-12-29 2019-07-16 华为技术有限公司 数据迁移方法、装置、设备以及计算机可读存储介质
CN110532241A (zh) * 2019-07-18 2019-12-03 政采云有限公司 利用MySQL Binlog进行不停机数据迁移方法
CN111651428A (zh) * 2020-05-22 2020-09-11 上海浪擎信息科技有限公司 一种基于国产数据库迁移环境下的双轨运行方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157670A (zh) * 2021-05-10 2021-07-23 中国工商银行股份有限公司 数据库的数据迁移方法及系统
CN113157670B (zh) * 2021-05-10 2024-02-09 中国工商银行股份有限公司 数据库的数据迁移方法及系统
CN113297182A (zh) * 2021-06-16 2021-08-24 中国农业银行股份有限公司 数据迁移方法、设备、存储介质及程序产品
CN113297182B (zh) * 2021-06-16 2024-01-30 中国农业银行股份有限公司 数据迁移方法、设备、存储介质及程序产品
CN113468144A (zh) * 2021-07-23 2021-10-01 上海蒙帕信息技术有限公司 一种数据库迁移方法及其迁移装置
CN114925123A (zh) * 2022-04-24 2022-08-19 杭州悦数科技有限公司 一种分布式的图数据库与图计算系统间的数据传输方法

Similar Documents

Publication Publication Date Title
CN112632035A (zh) 面向自主可控数据库迁移方法及存储介质
US11068501B2 (en) Single phase transaction commits for distributed database transactions
US10949411B2 (en) Time stamp bounded addition of data to an append-only distributed database table
CN111400326B (zh) 一种智慧城市数据管理系统及其方法
CN109743137B (zh) 一种支持更新的分布式延迟消息队列处理系统
CN107958010B (zh) 用于在线数据迁移的方法及系统
CN109144785B (zh) 用于备份数据的方法和装置
CN104778175A (zh) 一种实现异构数据库数据同步的方法及系统
WO2019109854A1 (zh) 分布式数据库数据处理方法、装置、存储介质及电子装置
CN109144783B (zh) 一种分布式海量非结构化数据备份方法及系统
US20160088077A1 (en) Seamless binary object and metadata sync
US20150112934A1 (en) Parallel scanners for log based replication
CN112988702A (zh) 异构数据源实时数据传输方法及系统、存储介质及终端
CN105608126A (zh) 一种建立海量数据库二级索引的方法和装置
CN105900093A (zh) 一种KeyValue数据库的数据表的更新方法与表数据更新装置
CN112965945A (zh) 数据存储方法、装置、电子设备及计算机可读介质
CN111897808A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112685499A (zh) 一种工作业务流的流程数据同步方法、装置及设备
CN113177090A (zh) 数据处理方法及装置
CN113806301A (zh) 数据同步方法、装置、服务器及存储介质
CN111444148A (zh) 基于MapReduce的数据传输方法和装置
CN115952238A (zh) 一种数据同步的方法及装置
US10803030B2 (en) Asynchronous SQL execution tool for zero downtime and migration to HANA
CN108595552B (zh) 数据立方体发布方法、装置、电子设备和存储介质
CN110633332A (zh) 数据仓库、数据更新和调用方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination