CN110532241A - 利用MySQL Binlog进行不停机数据迁移方法 - Google Patents
利用MySQL Binlog进行不停机数据迁移方法 Download PDFInfo
- Publication number
- CN110532241A CN110532241A CN201910651060.2A CN201910651060A CN110532241A CN 110532241 A CN110532241 A CN 110532241A CN 201910651060 A CN201910651060 A CN 201910651060A CN 110532241 A CN110532241 A CN 110532241A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- binlog
- shut down
- mysql
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了利用MySQL Binlog进行不停机数据迁移方法，包括以下步骤，在待迁移源数据库上配置DTS，DTS会将待迁移源数据库上所有的数据都迁移至中间数据库，在将待迁移源数据库上所有的数据进行迁移的过程中产生的增量数据也会通过DTS迁移至中间数据库里。本发明中，通过DTS提供增量数据迁移功能，会将不停机期间业务产生的数据源源不断的写入中间数据库，而中间数据库又将源源不断的产生Binlog并通过Canal和消息队列被我们自研的数据转换迁移程序所消费，最终存储落地到目标数据库中去，在整个过程中做到了不停机，即业务不暂停，保证了业务的实时可用性。
Description
技术领域
本发明涉及数据迁移技术领域，尤其涉及利用MySQL Binlog进行不停机数据迁移方法。
背景技术
在业务发展的过程中，我们经常会需要对于现有业务进行规整，数据模型进行重构和修改，如果数据模型一旦发生变化，对应的数据库表结构也会发生变化，比如字段类型、数据维度等都会发生变化。这个时候就需要进行数据迁移。传统的数据迁移建立在停服的基础上，即应用停止对外服务，关闭读写流量。但是停服会降低应用的可用时间和可用性，对于一些关键应用来说是不被允许的。因此我们需要一种不停服就可以迁移的方式。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的利用MySQL Binlog进行不停机数据迁移方法。
为了实现上述目的，本发明采用了如下技术方案：利用MySQL Binlog进行不停机数据迁移方法，包括以下步骤：
SSO1：在待迁移源数据库上配置DTS，DTS会将待迁移源数据库上所有的数据都迁移至中间数据库，在将待迁移源数据库上所有的数据进行迁移的过程中产生的增量数据也会通过DTS迁移至中间数据库里；
SSO2：部署Canal中间件来监听中间数据库产生的Binlog，并存放到MQ；
SSO3：部署自研的数据转换迁移程序，自研的数据转换迁移程序一方面将订阅消息队列里的Binlog，当消息队列中有Binlog时可以将它进行消费；另一方面，在消费Binlog的时候，对于Binlog进行解析，并按照业务需要，对于数据格式和维度进行一定的转换，形成最终需要的数据结构，并最后存储至目标数据库中。
作为上述技术方案的进一步描述：
所述中间数据库在初始的时候并没有任何数据，随着DTS将数据源源不断的迁入中间数据库，中间数据库将这些数据写入对应的数据库表中，数据库对于数据写入将产生Binlog，Binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到Binlog里，因此随着DTS将数据源源不断的迁入，也将伴随着源源不断产生Binlog。
作为上述技术方案的进一步描述：
所述步骤3中数据迁移程序在消费Binlog的时候，只有最终将数据完整正确地写入目标数据库时，才会给消息队列回复Acknowledgement，这样保证了数据的强一致性。
作为上述技术方案的进一步描述：
所述MySQL是一种广泛应用于各大互联网公司和产品中的一个关系型数据库管理系统。
作为上述技术方案的进一步描述：
所述Binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，当有数据写入到数据库时，还会同时把更新的SQL语句写入到对应所述binlog文件里。
作为上述技术方案的进一步描述：
所述DTS是Data Transmission Service的简称，即数据传输服务，是一种支持关系型数据库、非关系型数据库、在线分析处理等多种数据源之间数据交互的数据服务，它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。
作为上述技术方案的进一步描述：
所述Canal是基于Java开发的一款开源项目，且Canal基于数据库增量日志解析，提供增量数据订阅和消费功能。
作为上述技术方案的进一步描述：
所述SQL是一种结构化查询语言，且SQL是一种特殊目的的编程语言，还是一种数据库查询和程序设计语言，所述SQL用于存取数据以及查询、更新和管理关系数据库系统。
作为上述技术方案的进一步描述：
所述DML为一种数据操纵语言，其中，DML是SQL语言的一种，DML负责对数据库对象运行数据访问工作的指令集，以INSERT、UPDATE、DELETE三种指令为核心，分别代表插入、更新与删除，是开发以数据为中心的应用程序必定会使用到的指令。
作为上述技术方案的进一步描述：
所述MQ是消息队列服务，其中，消息队列是一种应用程序对应用程序的通信方法，应用程序通过写和检索出入列队的针对应用程序的数据来通信，而无需专用连接来链接它们。
有益效果
本发明提供了利用MySQL Binlog进行不停机数据迁移方法。具备以下有益效果：
(1)：该利用MySQL Binlog进行不停机数据迁移方法通过DTS提供增量数据迁移功能，会将不停机期间业务产生的数据源源不断的写入中间数据库，而中间数据库又将源源不断的产生Binlog并通过Canal和消息队列被我们自研的数据转换迁移程序所消费，最终存储落地到目标数据库中去，在整个过程中做到了不停机，即业务不暂停，保证了业务的实时可用性。
(2)：该利用MySQL Binlog进行不停机数据迁移方法不需要在发版当天来做数据迁移，可以选任意一天来做数据迁移，可以选择发版前就开始做数据迁移，因为中间库、目标库都不会影响业务的正常运行，一旦在中间库、目标库发现了异常情况，任何时候都可以回滚，甚至可以删除中间库和目标库进行重新迁移，完全不会影响业务正常运行，并且有极大的空间去完成数据验证对比，保证整个数据迁移结果的正确性。
附图说明
图1为本发明提出的利用MySQL Binlog进行不停机数据迁移方法的整体示意图；
图2为本发明的流程示意图；
图3为本发明的时序图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-3，利用MySQL Binlog进行不停机数据迁移方法，包括以下步骤：
SSO1：在待迁移源数据库上配置DTS，DTS会将待迁移源数据库上所有的数据都迁移至中间数据库，在将待迁移源数据库上所有的数据进行迁移的过程中产生的增量数据也会通过DTS迁移至中间数据库里；
SSO2：部署Canal中间件来监听中间数据库产生的Binlog，并存放到MQ；
SSO3：部署自研的数据转换迁移程序，自研的数据转换迁移程序一方面将订阅消息队列里的Binlog，当消息队列中有Binlog时可以将它进行消费；另一方面，在消费Binlog的时候，对于Binlog进行解析，并按照业务需要，对于数据格式和维度进行一定的转换，形成最终需要的数据结构，并最后存储至目标数据库中。
Canal通过模拟mysql slave的交互协议，伪装自己为mysql slave，向mysqlmaster发送dump协议，mysql master收到dump请求，开始推送binlog给canal，在这里，中间数据库就是master，Canal伪装成slave接收来自master的Binlog，Canal收到Binlog后，将Binlog发送到消息队列中，如Rocket MQ中，之所以要将Binlog发送到消息队列中是为了通过消息队列进行异步解耦和转储，消费的快慢并不影响Canal程序的性能。
中间数据库在初始的时候并没有任何数据，随着DTS将数据源源不断的迁入中间数据库，中间数据库将这些数据写入对应的数据库表中，数据库对于数据写入将产生Binlog，Binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到Binlog里。因此随着DTS将数据源源不断的迁入，也将伴随着源源不断产生Binlog。
步骤3中数据迁移程序在消费Binlog的时候，只有最终将数据完整正确地写入目标数据库时，才会给消息队列回复Acknowledgement，这样保证了数据的强一致性。
MySQL是一种广泛应用于各大互联网公司和产品中的一个关系型数据库管理系统，。
Binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，当有数据写入到数据库时，还会同时把更新的SQL语句写入到对binlog文件里。
DTS是Data Transmission Service的简称，即数据传输服务，是一种支持关系型数据库、非关系型数据库、在线分析处理等多种数据源之间数据交互的数据服务，它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。
Canal是基于Java开发的一款开源项目，且Canal基于数据库增量日志解析，提供增量数据订阅和消费功能。
SQL是一种结构化查询语言，且SQL是一种特殊目的的编程语言，还是一种数据库查询和程序设计语言，SQL用于存取数据以及查询、更新和管理关系数据库系统。
DML为一种数据操纵语言，其中，DML是SQL语言的一种，DML负责对数据库对象运行数据访问工作的指令集，以INSERT、UPDATE、DELETE三种指令为核心，分别代表插入、更新与删除，是开发以数据为中心的应用程序必定会使用到的指令。
MQ是消息队列服务，其中，消息队列是一种应用程序对应用程序的通信方法，应用程序通过写和检索出入列队的针对应用程序的数据来通信，而无需专用连接来链接它们。
技术方案：整个数据迁移过程中，会涉及三个库，源库、中间库和目标库，源库，将要迁移的数据存放在待迁移源库里；中间库是待迁移源数据库的同步备份，目的是利用DTS的数据迁移能力将待迁移源数据库的数据同步至中间数据库，然后再在中间数据库上做个性化数据转换并存储到待迁移目标数据库；目标数据库即迁移完成后的数据存放在待迁移目标数据库。
在整个数据迁移过程中，利用DTS将存量数据从源库全部迁移至中间库，在迁移至中间库的过程中，将产生这些数据的Binlog，即产生这些数据的Insert DML SQL；而这些DML SQL将会被Canal组件监听，并通过MQ方式进行传播；然后实现的数据迁移将会去消费这些DML SQL，并根据我们业务特点定制个性化的转换逻辑，实现字段类型和数据维度的各种变化，并最终存储到目标数据库中。
与此同时，增量数据也会被DTS按照同样的方式进行迁移，并存储到中间库中，同样，也会消费这些增量数据的DML SQL，并经过转换后存储到目标库中。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.利用MySQL Binlog进行不停机数据迁移方法，其特征在于，包括以下步骤：
SSO1：在待迁移源数据库上配置DTS，DTS会将待迁移源数据库上所有的数据都迁移至中间数据库，在将待迁移源数据库上所有的数据进行迁移的过程中产生的增量数据也会通过DTS迁移至中间数据库里；
SSO2：部署Canal中间件来监听中间数据库产生的Binlog，并存放到MQ；
SSO3：部署自研的数据转换迁移程序，自研的数据转换迁移程序一方面将订阅消息队列里的Binlog，当消息队列中有Binlog时可以将它进行消费；另一方面，在消费Binlog的时候，对于Binlog进行解析，并按照业务需要，对于数据格式和维度进行一定的转换，形成最终需要的数据结构，并最后存储至目标数据库中。
2.根据权利要求1所述的利用MySQL Binlog进行不停机数据迁移方法，其特征在于，所述中间数据库在初始的时候并没有任何数据，随着DTS将数据源源不断的迁入中间数据库，中间数据库将这些数据写入对应的数据库表中，数据库对于数据写入将产生Binlog，Binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到Binlog里，因此随着DTS将数据源源不断的迁入，也将伴随着源源不断产生Binlog。
3.根据权利要求1所述的利用MySQL Binlog进行不停机数据迁移方法，其特征在于，所述SSO3中数据迁移程序在消费Binlog的时候，只有最终将数据完整正确地写入目标数据库时，才会给消息队列回复Acknowledgement，这样保证了数据的强一致性。
4.根据权利要求1所述的利用MySQL Binlog进行不停机数据迁移方法，其特征在于，所述MySQL是一种广泛应用于各大互联网公司和产品中的一个关系型数据库管理系统。
5.根据权利要求1所述的利用MySQL Binlog进行不停机数据迁移方法，其特征在于，所述Binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，当有数据写入到数据库时，还会同时把更新的SQL语句写入到对应所述Binlog文件里。
6.根据权利要求1所述的利用MySQL Binlog进行不停机数据迁移方法，其特征在于，所述DTS是Data Transmission Service的简称，即数据传输服务，是一种支持关系型数据库、非关系型数据库、在线分析处理等多种数据源之间数据交互的数据服务，它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。
7.根据权利要求1所述的利用MySQL Binlog进行不停机数据迁移方法，其特征在于，所述Canal是基于Java开发的一款开源项目，且Canal基于数据库增量日志解析，提供增量数据订阅和消费功能。
8.根据权利要求5所述的利用MySQL Binlog进行不停机数据迁移方法，其特征在于，所述SQL是一种结构化查询语言，且SQL是一种特殊目的的编程语言，还是一种数据库查询和程序设计语言，所述SQL用于存取数据以及查询、更新和管理关系数据库系统。
9.根据权利要求8所述的利用MySQL Binlog进行不停机数据迁移方法，其特征在于，还包括DML，所述DML为一种数据操纵语言，其中，DML是SQL语言的一种，DML负责对数据库对象运行数据访问工作的指令集，以INSERT、UPDATE、DELETE三种指令为核心，分别代表插入、更新与删除，是开发以数据为中心的应用程序必定会使用到的指令。
10.根据权利要求1所述的利用MySQL Binlog进行不停机数据迁移方法，其特征在于，所述MQ是消息队列服务，其中，消息队列是一种应用程序对应用程序的通信方法，应用程序通过写和检索出入列队的针对应用程序的数据来通信，而无需专用连接来链接它们。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910651060.2A CN110532241A (zh) | 2019-07-18 | 2019-07-18 | 利用MySQL Binlog进行不停机数据迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910651060.2A CN110532241A (zh) | 2019-07-18 | 2019-07-18 | 利用MySQL Binlog进行不停机数据迁移方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110532241A true CN110532241A (zh) | 2019-12-03 |
Family
ID=68661854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910651060.2A Pending CN110532241A (zh) | 2019-07-18 | 2019-07-18 | 利用MySQL Binlog进行不停机数据迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110532241A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111241044A (zh) * | 2020-01-08 | 2020-06-05 | 中国联合网络通信集团有限公司 | 搭建异构数据库的方法、装置、设备及可读存储介质 |
| CN111324596A (zh) * | 2020-03-06 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 数据库集群的数据迁移方法、装置及电子设备 |
| CN111367894A (zh) * | 2020-03-31 | 2020-07-03 | 中国工商银行股份有限公司 | 基于数据库迁移的数据对比方法及装置 |
| CN111367892A (zh) * | 2020-03-31 | 2020-07-03 | 中国建设银行股份有限公司 | 数据迁移方法及装置 |
| CN111913663A (zh) * | 2020-07-29 | 2020-11-10 | 星辰天合（北京）数据科技有限公司 | 存储卷在线迁移的方法、装置和存储卷在线迁移的系统 |
| CN112632035A (zh) * | 2020-12-24 | 2021-04-09 | 广州辰创科技发展有限公司 | 面向自主可控数据库迁移方法及存储介质 |
| CN112988702A (zh) * | 2019-12-12 | 2021-06-18 | 天翼电子商务有限公司 | 异构数据源实时数据传输方法及系统、存储介质及终端 |
| CN113064699A (zh) * | 2021-04-09 | 2021-07-02 | 上海安畅网络科技股份有限公司 | 一种异构云不停服务的迁移方法、装置、设备及存储介质 |
| CN113254421A (zh) * | 2021-05-31 | 2021-08-13 | 重庆富民银行股份有限公司 | 基于数据库双写的跨库账户迁移方法 |
| CN113360482A (zh) * | 2021-08-10 | 2021-09-07 | 深圳市中科鼎创科技股份有限公司 | 基于sql数据库的在线迁移方法 |
| CN113438275A (zh) * | 2021-05-27 | 2021-09-24 | 众安在线财产保险股份有限公司 | 数据迁移方法、装置、存储介质及数据迁移设备 |
| CN114579656A (zh) * | 2022-05-07 | 2022-06-03 | 中建电子商务有限责任公司 | 一种对Mysql Binlog数据进行处理的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530290A (zh) * | 2012-07-03 | 2014-01-22 | 深圳市腾讯计算机系统有限公司 | 数据库间的数据迁移方法和系统 |
| CN105718570A (zh) * | 2016-01-20 | 2016-06-29 | 北京京东尚科信息技术有限公司 | 用于数据库的数据迁移方法和装置 |
| CN107958010A (zh) * | 2016-10-18 | 2018-04-24 | 北京京东尚科信息技术有限公司 | 用于在线数据迁移的方法及系统 |
| CN108932282A (zh) * | 2018-05-18 | 2018-12-04 | 腾讯科技（深圳）有限公司 | 一种数据库迁移方法、装置和存储介质 |
| CN109635024A (zh) * | 2018-11-23 | 2019-04-16 | 华迪计算机集团有限公司 | 一种数据迁移方法及系统 |
-
2019
- 2019-07-18 CN CN201910651060.2A patent/CN110532241A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530290A (zh) * | 2012-07-03 | 2014-01-22 | 深圳市腾讯计算机系统有限公司 | 数据库间的数据迁移方法和系统 |
| CN105718570A (zh) * | 2016-01-20 | 2016-06-29 | 北京京东尚科信息技术有限公司 | 用于数据库的数据迁移方法和装置 |
| CN107958010A (zh) * | 2016-10-18 | 2018-04-24 | 北京京东尚科信息技术有限公司 | 用于在线数据迁移的方法及系统 |
| CN108932282A (zh) * | 2018-05-18 | 2018-12-04 | 腾讯科技（深圳）有限公司 | 一种数据库迁移方法、装置和存储介质 |
| CN109635024A (zh) * | 2018-11-23 | 2019-04-16 | 华迪计算机集团有限公司 | 一种数据迁移方法及系统 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112988702A (zh) * | 2019-12-12 | 2021-06-18 | 天翼电子商务有限公司 | 异构数据源实时数据传输方法及系统、存储介质及终端 |
| CN111241044A (zh) * | 2020-01-08 | 2020-06-05 | 中国联合网络通信集团有限公司 | 搭建异构数据库的方法、装置、设备及可读存储介质 |
| CN111241044B (zh) * | 2020-01-08 | 2023-09-19 | 中国联合网络通信集团有限公司 | 搭建异构数据库的方法、装置、设备及可读存储介质 |
| CN111324596A (zh) * | 2020-03-06 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 数据库集群的数据迁移方法、装置及电子设备 |
| CN111324596B (zh) * | 2020-03-06 | 2021-06-11 | 腾讯科技（深圳）有限公司 | 数据库集群的数据迁移方法、装置及电子设备 |
| CN111367894B (zh) * | 2020-03-31 | 2023-08-18 | 中国工商银行股份有限公司 | 基于数据库迁移的数据对比方法及装置 |
| CN111367894A (zh) * | 2020-03-31 | 2020-07-03 | 中国工商银行股份有限公司 | 基于数据库迁移的数据对比方法及装置 |
| CN111367892A (zh) * | 2020-03-31 | 2020-07-03 | 中国建设银行股份有限公司 | 数据迁移方法及装置 |
| CN111367892B (zh) * | 2020-03-31 | 2024-01-19 | 中国建设银行股份有限公司 | 数据迁移方法及装置 |
| CN111913663A (zh) * | 2020-07-29 | 2020-11-10 | 星辰天合（北京）数据科技有限公司 | 存储卷在线迁移的方法、装置和存储卷在线迁移的系统 |
| CN112632035A (zh) * | 2020-12-24 | 2021-04-09 | 广州辰创科技发展有限公司 | 面向自主可控数据库迁移方法及存储介质 |
| CN113064699A (zh) * | 2021-04-09 | 2021-07-02 | 上海安畅网络科技股份有限公司 | 一种异构云不停服务的迁移方法、装置、设备及存储介质 |
| CN113438275A (zh) * | 2021-05-27 | 2021-09-24 | 众安在线财产保险股份有限公司 | 数据迁移方法、装置、存储介质及数据迁移设备 |
| CN113254421A (zh) * | 2021-05-31 | 2021-08-13 | 重庆富民银行股份有限公司 | 基于数据库双写的跨库账户迁移方法 |
| CN113360482A (zh) * | 2021-08-10 | 2021-09-07 | 深圳市中科鼎创科技股份有限公司 | 基于sql数据库的在线迁移方法 |
| CN114579656A (zh) * | 2022-05-07 | 2022-06-03 | 中建电子商务有限责任公司 | 一种对Mysql Binlog数据进行处理的方法 |
| CN114579656B (zh) * | 2022-05-07 | 2022-07-22 | 中建电子商务有限责任公司 | 一种对Mysql Binlog数据进行处理的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110532241A (zh) | 利用MySQL Binlog进行不停机数据迁移方法 | |
| KR101956236B1 (ko) | 데이터베이스 관리 시스템에서의 데이터 복제 기법 | |
| AU2006200229B2 (en) | Storage API for a common data platform | |
| EP2283439B1 (en) | Document synchronization over stateless protocols | |
| JP5387757B2 (ja) | 並列データ処理システム、並列データ処理方法及びプログラム | |
| US9892185B2 (en) | Method and system for syncing data structures | |
| JP4385387B1 (ja) | 属性付きキー・バリュー・ストアによるデータベース・システム | |
| US9218405B2 (en) | Batch processing and data synchronization in cloud-based systems | |
| US20130080456A1 (en) | Apparatus and methods for organizing data items having time of life intervals | |
| BRPI0609334A2 (pt) | gerenciamento de dados para sistema de dados móvel | |
| CA2379930A1 (en) | Multi-model access to data | |
| Gupta et al. | Practical Enterprise Data Lake Insights: Handle Data-Driven Challenges in an Enterprise Big Data Lake | |
| US20110145194A1 (en) | Method and system for notes for business objects | |
| WO2012108015A1 (ja) | データ同期方法、データ同期プログラム、及びデータ同期制御装置 | |
| Tauro et al. | A comparative analysis of different nosql databases on data model, query model and replication model | |
| US20150019534A1 (en) | Relationship serialization and reconstruction for entities | |
| Brunette et al. | ODK tables: building easily customizable information applications on Android devices | |
| CN114860727A (zh) | 拉链表更新方法及装置 | |
| CN107092685A (zh) | 一种联合使用文件系统和rdbms存储事务数据的方法 | |
| KR102600366B1 (ko) | 분산형 데이터베이스에서의 인덱스 분할 | |
| US11789971B1 (en) | Adding replicas to a multi-leader replica group for a data set | |
| Gao et al. | Achieving Transparent and Real-time Collaboration in Co-AutoCAD Application. | |
| Kaltman | Preliminary Analysis of a Large-Scale Digital Entertainment Development Archive: A Case Study of the Entertainment Technology Center’s Projects | |
| US20210256022A1 (en) | System for Creating a Dataset Network | |
| KR20240114430A (ko) | 변경 데이터 캡쳐를 수행하기 위한 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191203 |