CN107423436A - 一种用于不同类型数据库间在线数据迁移的方法 - Google Patents
一种用于不同类型数据库间在线数据迁移的方法 Download PDFInfo
- Publication number
- CN107423436A CN107423436A CN201710660596.1A CN201710660596A CN107423436A CN 107423436 A CN107423436 A CN 107423436A CN 201710660596 A CN201710660596 A CN 201710660596A CN 107423436 A CN107423436 A CN 107423436A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- target database
- main frame
- client software
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种用于不同类型数据库间在线数据迁移的方法，包括，创建客户端软件，客户端软件安装于数据库主机，实现与数据库的直接交互，以及对数据库中数据的抽取、转换、插入更新，并且完成不同客户端间数据传输及交互；创建服务端软件，服务端软件安装于管理端主机，配置迁移信息、对不同客户端表HASH数据进行比对、实时监控迁移进度及资源占用情况；通过客户端软件和服务端软件实现异常数据库间全量和增量数据的快速同步，以及同步完毕后两个异常数据库的数据一致性的校验。本发明和现有技术相比，具有设以下特点：1）完成不同类型数据库间数据迁移；2）提高迁移效率；3）简化迁移步骤；4）降低对数据迁移工程师的技术要求。
Description
技术领域
本发明涉及计算机软件数据库技术领域，具体地说是一种用于不同类型数据库间在线数据迁移的方法。
背景技术
目前数据库间进行数据迁移大概有如下一些方法：
方法一：生成DMP二进制文件的方式。该方式一般用于同类型数据库间进行数据迁移，在源数据库将数据导出成DMP二进制文件，然后再在目标数据库进行导入。该方法优点是导出导入操作比较简单，缺点是只能在同类型数据库间进行数据迁移。
方法二：通过将源数据库表导出成平滑文件（文本文件），然后使用该平滑文件将表数据导入到目标数据库。该方法优点是可以在不同类型数据库间进行数据迁移，缺点是操作比较繁琐，需要针对不同表生成平滑文件，然后再分别导入，迁移时间过长，迁移过程中会有很多错误数据需要手动处理。
方法三：使用工具进行迁移。有些第三方工具和ETL工具可以用于在不同数据库间进行数据迁移，这些工具一般使用ODBC或JDBC方式连接数据库，将数据不加处理的抽取到工具中，然后再向目标数据库进行插入。这种方法优点是通过简单的配置也可以在不同数据库间进行数据迁移。缺点是通过ODBC或JDBC方式抽取的数据要先经过工具所在主机然后再转发到目标数据库，受网络带宽限制效率较低，抽取过程会占用较多工具所在主机内存，造成迁移过程很长。
以上迁移方式具有导出导入效率低、操作非常繁琐、数据出错率高、业务停机时间长、迁移消耗时间长等缺点，给异构数据库间的数据迁移带来很大困难。
发明内容
本发明的技术任务是提供一种用于不同类型数据库间在线数据迁移的方法。
本发明的技术任务是按以下方式实现的，该用于不同类型数据库间在线数据迁移的方法，包括，
创建客户端软件，客户端软件安装于数据库主机，实现与数据库的直接交互，以及对数据库中数据的抽取、转换、插入更新，并且完成不同客户端间数据传输及交互；
创建服务端软件，服务端软件安装于管理端主机，配置迁移信息、对不同客户端表HASH数据进行比对、实时监控迁移进度及资源占用情况；
通过客户端软件和服务端软件实现异常数据库间全量和增量数据的快速同步，以及同步完毕后两个异常数据库的数据一致性的校验。
所述的数据库主机包括源数据库主机与目标数据库主机；
所述的源数据库主机中源数据库与目标数据库主机中目标数据库的表数据类型不同，客户端软件抽取数据后自动进行数据类型转换；
所述的客户端软件自动检测到源数据库和目标数据库的类型及版本，对于两种数据库存在的不同类型的数据，所述的客户端软件自动将抽取的数据转换成适用于目标数据库的数据，然后在目标数据库进行插入。
所述的客户端软件抽取的数据被客户端软件压缩后直接传输到目标客户端，目标客户端收到发送的数据首先会存储到本地文件中，然后再由目标客户端软件读取本地文件并将数据插入数据库。
所述的服务端软件安装后，通过服务端软件提供的管理界面连接到源数据库主机和目标数据库主机的客户端软件。
所述的服务端软件连接到源数据库主机的客户端软件后，选择需要迁移的表，如果选中某个用户则默认迁移该用户下全部表。
所述的全量数据的快速同步，包括，
把源数据库中选择的表数据迁移到目标数据库中，全量数据迁移过程通过监控界面查看正在迁移的表、已经完成迁移的表、网络带宽使用情况、迁移中的错误信息、主机I/O和CPU使用情况。
所述的全量数据迁移过程通过监控界面查看正在迁移的表、已经完成迁移的表、网络带宽使用情况、迁移中的错误信息、主机I/O和CPU使用情况，包括，
根据主机和网络带使用情况在线调整同步的并发量，以充分利用CPU、I/O、网络的资源。
所述的增量数据的快速同步，包括，
比对源数据库与目标数据库表中数据的HASH值，根据HASH值比对情况对目标数据库表数据进行不同操作：
1）当源数据库与目标数据库表某行记录的HASH值相同时，表明该记录在全量同步后没有做过变更，对该记录不进行处理；
2）当源数据库与目标数据库表某行记录的HASH值不同时，表明该记录在全量同步后做过变更，需要从源数据库读取该记录并更新到目标数据库；
3）当源数据库中某行记录的HASH值在目标数据库不存在时，表明该记录是全量同步后新增的，需要从源数据库读取该记录并插入到目标数据库；
4）当目标数据库中某行记录的HASH值在源数据库不存在时，表明该记录是全量同步后删除的，需要从目标数据库将该记录删除。
所述的同步完毕后两个异常数据库的数据一致性的校验，包括，
比对源数据库与目标数据库表中数据的HASH值，如果表中数据的HASH值相同，则表明源数据库与目标数据库的表数据一致。
所述的客户端软件和服务端软件对AIX、HPUX、LINUX、WINDOWS、K-UX平台发布相应的平台介质。
本发明的一种用于不同类型数据库间在线数据迁移的方法和现有技术相比，具有设以下特点：
1）完成不同类型数据库间数据迁移
可用于不同类型数据库间的数据迁移工作，其中不同类型数据库间数据迁移一直是数据迁移的困难点，本软件对不同数据库间数据类型的数据进行自动转换，使源数据库中的数据顺利插入到目标数据库。
2）提高迁移效率
由于不通过ODBC或JDBC方式访问数据库，提高了数据读取效率。传输的数据经过压缩，减少了对网络带宽的占用。数据抽取后直接发送给目标客户端软件进行插入，不占用过多源数据库主机和目标数据库主机内存资源。对表可以使用WHERE条件进行数据筛选，进一步减少了传输的数据量。源客户端软件与目标客户端软件间的交互模式，保证了数据传输的准确性，不会造成数据丢失。
3）简化迁移步骤
迁移过程基本只需进行源和目标客户端软件安装、服务端软件安装及配置，即可开始迁移工作，需要配置的内容通过服务端管理软件图形化进行配置。
4）降低对数据迁移工程师的技术要求
数据迁移和数据比对工作交由本软件自动进行，对数据迁移工程师技术水平要求不高。
附图说明
图１为全量数据迁移示意图；
图２为增量数据迁移示意图；
图３为数据比对示意图。
具体实施方式
实施例1：
用于不同类型数据库间在线数据迁移的方法，包括，
创建客户端软件，客户端软件安装于数据库主机，实现与数据库的直接交互，以及对数据库中数据的抽取、转换、插入更新，并且完成不同客户端间数据传输及交互；
所述的数据库主机包括源数据库主机与目标数据库主机；
所述的源数据库主机中源数据库与目标数据库主机中目标数据库的表数据类型不同，客户端软件抽取数据后自动进行数据类型转换；
所述的客户端软件自动检测到源数据库和目标数据库的类型及版本，对于两种数据库存在的不同类型的数据，所述的客户端软件自动将抽取的数据转换成适用于目标数据库的数据，然后在目标数据库进行插入。
所述的客户端软件抽取的数据被客户端软件压缩后直接传输到目标客户端，目标客户端收到发送的数据首先会存储到本地文件中，然后再由目标客户端软件读取本地文件并将数据插入数据库。
创建服务端软件，服务端软件安装于管理端主机，配置迁移信息、对不同客户端表HASH数据进行比对、实时监控迁移进度及资源占用情况；
所述的服务端软件安装后，通过服务端软件提供的管理界面连接到源数据库主机和目标数据库主机的客户端软件。
所述的服务端软件连接到源数据库主机的客户端软件后，选择需要迁移的表，如果选中某个用户则默认迁移该用户下全部表。
通过客户端软件和服务端软件实现异常数据库间全量和增量数据的快速同步，以及同步完毕后两个异常数据库的数据一致性的校验。
所述的全量数据的快速同步，包括，
把源数据库中选择的表数据迁移到目标数据库中，全量数据迁移过程通过监控界面查看正在迁移的表、已经完成迁移的表、网络带宽使用情况、迁移中的错误信息、主机I/O和CPU使用情况。
所述的全量数据迁移过程通过监控界面查看正在迁移的表、已经完成迁移的表、网络带宽使用情况、迁移中的错误信息、主机I/O和CPU使用情况，包括，
根据主机和网络带使用情况在线调整同步的并发量，以充分利用CPU、I/O、网络的资源。
所述的增量数据的快速同步，包括，
比对源数据库与目标数据库表中数据的HASH值，根据HASH值比对情况对目标数据库表数据进行不同操作：
1）当源数据库与目标数据库表某行记录的HASH值相同时，表明该记录在全量同步后没有做过变更，对该记录不进行处理；
2）当源数据库与目标数据库表某行记录的HASH值不同时，表明该记录在全量同步后做过变更，需要从源数据库读取该记录并更新到目标数据库；
3）当源数据库中某行记录的HASH值在目标数据库不存在时，表明该记录是全量同步后新增的，需要从源数据库读取该记录并插入到目标数据库；
4）当目标数据库中某行记录的HASH值在源数据库不存在时，表明该记录是全量同步后删除的，需要从目标数据库将该记录删除。
所述的同步完毕后两个异常数据库的数据一致性的校验，包括，
比对源数据库与目标数据库表中数据的HASH值，如果表中数据的HASH值相同，则表明源数据库与目标数据库的表数据一致。
实施例2：
为使本发明的目的、技术方案和优点更加清楚，对本发明组件及功能做进一步地详细描述：
1）软件介质
本软件针对AIX、HPUX、LINUX、WINDOWS、K-UX等平台发布相应平台介质，根据不同平台安装客户端软件与服务端软件。客户端软件安装在与数据库相同用户下，并且该用户数据库相关环境变量正确配置能够连接到数据库。数据同步是直接在两台客户端之间进行，数据无需经过管理端。
2）服务端配置
在管理界面中配置连接到源数据库主机和目标数据库主机的客户端软件。正确连接到客户端软件后，在管理界面可以正常显示主机上运行的数据库，以及该数据库下的用户及表。根据需要选择需要迁移的用户或表、增加WHERE条件对表数据进行筛选、迁移并发量等配置，配置完毕后保存，所有配置将会自动下发给源数据库主机和目标数据库主机的客户端软件，客户端软件将会根据该配置进行下一步数据校验和同步。
3）数据全量同步
点击同步开始按钮后，源数据库主机的客户端软件读取配置信息，根据配置信息中需要同步的表和条件开始抽取数据。对一张表抽取的数据量达到10M时，对抽取的数据进行压缩。每张表每次抽取以10M大小为单位，如果所抽取表数据一行的数据就超过10M，那么最小的抽取数量即为1行，压缩完毕后传送给目标客户端软件，并等待目标端软件的确认信息，当目标客户端软件确认收到数据包后继续该表剩余数据的抽取并将内存中存放的已经抽取的数据删除以避免占用过多内存，如果特定时间内未得到目标客户端软件的回复则将数据包重新发送，重新发送的次数为3次，如果3次发送均失败，则该表的迁移标记为失败，开始其它表的迁移。
目标数据库主机的客户端软件收到源数据库主机的客户端软件发送的数据包后，会给源数据库主机的客户端软件发送确认消息。目标数据库主机的客户端软件将收到的数据包首先存储到本地文件中（该文件大小可以配置，并且按序列号顺序命名保证不会重复），软件读取该本地文件后进行解压缩，将其中数据插入到相应表中，同时记录日志。
4）数量增量同步
增量同步开始后，源数据库主机的客户端软件和目标数据库主机的客户端软件同时读取相应表数据，然后对每一行数据进行HASH计算，将得到的HASH值及行关键字同时发送到管理端，由管理端软件对源数据库与目标数据库发送过来的HASH值及行关键字进行比对，比对结果共有四种情况：1)同一行有相同HASH值 ；2)同一行有不同HASH值；3)源表某行在目标表没有HASH值；4)目标表某行在源表没有HASH值。根据这四种情况分别对目标数据库的数据进行增删改操作。
5）迁移监控
通过服务端软件提供的监控功能，可以实时查看正在迁移的表、网络带宽使用情况、迁移中的错误信息、主机I/O和CPU使用情况等。可根据主机和网络带使用情况在线调整同步的并发量，以充分利用CPU、I/O、网络等资源。
6）数据一致性检查
对源数据库与目标数据库中表数据进行一致性检，以判断源数据库与目标数据库中表数据是否一致。方法是比对源数据库与目标数据库表中数据的HASH值，如果表中数据的HASH值相同，则表明源库与目标库表数据一致。
名词解释：
HASH：散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
Claims (10)
1.一种用于不同类型数据库间在线数据迁移的方法，其特征在于，包括，
创建客户端软件，客户端软件安装于数据库主机，实现与数据库的直接交互，以及对数据库中数据的抽取、转换、插入更新，并且完成不同客户端间数据传输及交互；
创建服务端软件，服务端软件安装于管理端主机，配置迁移信息、对不同客户端表HASH数据进行比对、实时监控迁移进度及资源占用情况；
通过客户端软件和服务端软件实现异常数据库间全量和增量数据的快速同步，以及同步完毕后两个异常数据库的数据一致性的校验。
2.根据权利要求1所述的方法，其特征在于，所述的数据库主机包括源数据库主机与目标数据库主机；
所述的源数据库主机中源数据库与目标数据库主机中目标数据库的表数据类型不同，客户端软件抽取数据后自动进行数据类型转换；
所述的客户端软件自动检测到源数据库和目标数据库的类型及版本，对于两种数据库存在的不同类型的数据，所述的客户端软件自动将抽取的数据转换成适用于目标数据库的数据，然后在目标数据库进行插入。
3.根据权利要求2所述的方法，其特征在于，所述的客户端软件抽取的数据被客户端软件压缩后直接传输到目标客户端，目标客户端收到发送的数据首先会存储到本地文件中，然后再由目标客户端软件读取本地文件并将数据插入数据库。
4.根据权利要求1所述的方法，其特征在于,所述的服务端软件安装后，通过服务端软件提供的管理界面连接到源数据库主机和目标数据库主机的客户端软件。
5.根据权利要求4所述的方法，其特征在于，所述的服务端软件连接到源数据库主机的客户端软件后，选择需要迁移的表，如果选中某个用户则默认迁移该用户下全部表。
6.根据权利要求1所述的方法，其特征在于，所述的全量数据的快速同步，包括，
把源数据库中选择的表数据迁移到目标数据库中，全量数据迁移过程通过监控界面查看正在迁移的表、已经完成迁移的表、网络带宽使用情况、迁移中的错误信息、主机I/O和CPU使用情况。
7.根据权利要求6所述的方法，其特征在于，所述的全量数据迁移过程通过监控界面查看正在迁移的表、已经完成迁移的表、网络带宽使用情况、迁移中的错误信息、主机I/O和CPU使用情况，包括，
根据主机和网络带使用情况在线调整同步的并发量，以充分利用CPU、I/O、网络的资源。
8.根据权利要求1所述的方法，其特征在于，所述的增量数据的快速同步，包括，
比对源数据库与目标数据库表中数据的HASH值，根据HASH值比对情况对目标数据库表数据进行不同操作：
1）当源数据库与目标数据库表某行记录的HASH值相同时，表明该记录在全量同步后没有做过变更，对该记录不进行处理；
2）当源数据库与目标数据库表某行记录的HASH值不同时，表明该记录在全量同步后做过变更，需要从源数据库读取该记录并更新到目标数据库；
3）当源数据库中某行记录的HASH值在目标数据库不存在时，表明该记录是全量同步后新增的，需要从源数据库读取该记录并插入到目标数据库；
4）当目标数据库中某行记录的HASH值在源数据库不存在时，表明该记录是全量同步后删除的，需要从目标数据库将该记录删除。
9.根据权利要求1所述的的方法，其特征在于，所述的同步完毕后两个异常数据库的数据一致性的校验，包括，
比对源数据库与目标数据库表中数据的HASH值，如果表中数据的HASH值相同，则表明源数据库与目标数据库的表数据一致。
10.根据权利要求1所述的的方法，其特征在于，所述的客户端软件和服务端软件对AIX、HPUX、LINUX、WINDOWS、K-UX平台发布相应的平台介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710660596.1A CN107423436A (zh) | 2017-08-04 | 2017-08-04 | 一种用于不同类型数据库间在线数据迁移的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710660596.1A CN107423436A (zh) | 2017-08-04 | 2017-08-04 | 一种用于不同类型数据库间在线数据迁移的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107423436A true CN107423436A (zh) | 2017-12-01 |
Family
ID=60437490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710660596.1A Pending CN107423436A (zh) | 2017-08-04 | 2017-08-04 | 一种用于不同类型数据库间在线数据迁移的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107423436A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108256034A (zh) * | 2018-01-11 | 2018-07-06 | 北京潘达互娱科技有限公司 | 数据迁移方法及设备 |
| CN109033124A (zh) * | 2018-05-31 | 2018-12-18 | 阿里巴巴集团控股有限公司 | 一种数据迁移的方法及装置 |
| CN109299072A (zh) * | 2018-10-16 | 2019-02-01 | 郑州云海信息技术有限公司 | 一种数据库在线迁移的方法及装置 |
| CN109656992A (zh) * | 2018-11-27 | 2019-04-19 | 山东中创软件商用中间件股份有限公司 | 一种数据传输对账方法、装置及设备 |
| CN110704404A (zh) * | 2019-08-29 | 2020-01-17 | 苏宁云计算有限公司 | 一种数据质量校验方法、装置、系统 |
| CN110716895A (zh) * | 2019-09-17 | 2020-01-21 | 平安科技（深圳）有限公司 | 目标数据归档方法、装置、计算机设备及介质 |
| CN111064599A (zh) * | 2019-11-26 | 2020-04-24 | 黎剑猛 | 一种监控插件迁移的方法及系统 |
| CN111125054A (zh) * | 2019-11-21 | 2020-05-08 | 青岛聚好联科技有限公司 | 一种社区数据迁移的方法及装置 |
| CN112256674A (zh) * | 2020-10-30 | 2021-01-22 | 中国建设银行股份有限公司 | 一种数据迁移方法、装置、电子设备和存储介质 |
| CN112817930A (zh) * | 2019-11-15 | 2021-05-18 | 北京沃东天骏信息技术有限公司 | 一种数据迁移的方法和装置 |
| CN112883040A (zh) * | 2021-02-04 | 2021-06-01 | 中国工商银行股份有限公司 | 一种数据同步方法、装置及设备 |
| CN113254424A (zh) * | 2021-06-11 | 2021-08-13 | 腾讯科技（深圳）有限公司 | 数据服务迁移方法、装置及设备 |
| CN113297034A (zh) * | 2021-05-31 | 2021-08-24 | 中电福富信息科技有限公司 | 基于TeleDB和MySQL数据库的分布式数据集成系统及方法 |
| CN113297321A (zh) * | 2020-07-27 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
| CN117743463A (zh) * | 2023-12-22 | 2024-03-22 | 上海掌数科技有限公司 | 一种高速数据传输同步的方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6266662B1 (en) * | 1997-02-28 | 2001-07-24 | Oracle Corporation | Bitmap segmentation |
| CN104504122A (zh) * | 2014-12-29 | 2015-04-08 | 浪潮(北京)电子信息产业有限公司 | 一种数据库迁移数据的验证方法及系统 |
| CN105138635A (zh) * | 2015-08-21 | 2015-12-09 | 中国人民解放军装备学院 | 一种利用哈希值比对进行数据增量复制的方法 |
| CN105393250A (zh) * | 2013-07-09 | 2016-03-09 | 甲骨文国际公司 | 动态迁移脚本的管理 |
| CN106686070A (zh) * | 2016-12-13 | 2017-05-17 | 腾讯科技（深圳）有限公司 | 一种数据库数据迁移方法、装置、终端及系统 |
-
2017
- 2017-08-04 CN CN201710660596.1A patent/CN107423436A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6266662B1 (en) * | 1997-02-28 | 2001-07-24 | Oracle Corporation | Bitmap segmentation |
| CN105393250A (zh) * | 2013-07-09 | 2016-03-09 | 甲骨文国际公司 | 动态迁移脚本的管理 |
| CN104504122A (zh) * | 2014-12-29 | 2015-04-08 | 浪潮(北京)电子信息产业有限公司 | 一种数据库迁移数据的验证方法及系统 |
| CN105138635A (zh) * | 2015-08-21 | 2015-12-09 | 中国人民解放军装备学院 | 一种利用哈希值比对进行数据增量复制的方法 |
| CN106686070A (zh) * | 2016-12-13 | 2017-05-17 | 腾讯科技（深圳）有限公司 | 一种数据库数据迁移方法、装置、终端及系统 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108256034A (zh) * | 2018-01-11 | 2018-07-06 | 北京潘达互娱科技有限公司 | 数据迁移方法及设备 |
| CN109033124A (zh) * | 2018-05-31 | 2018-12-18 | 阿里巴巴集团控股有限公司 | 一种数据迁移的方法及装置 |
| CN109299072A (zh) * | 2018-10-16 | 2019-02-01 | 郑州云海信息技术有限公司 | 一种数据库在线迁移的方法及装置 |
| CN109299072B (zh) * | 2018-10-16 | 2022-06-10 | 郑州云海信息技术有限公司 | 一种数据库在线迁移的方法及装置 |
| CN109656992A (zh) * | 2018-11-27 | 2019-04-19 | 山东中创软件商用中间件股份有限公司 | 一种数据传输对账方法、装置及设备 |
| CN110704404A (zh) * | 2019-08-29 | 2020-01-17 | 苏宁云计算有限公司 | 一种数据质量校验方法、装置、系统 |
| WO2021051563A1 (zh) * | 2019-09-17 | 2021-03-25 | 平安科技（深圳）有限公司 | 目标数据归档方法、装置、电子设备及计算机非易失性可读存储介质 |
| CN110716895B (zh) * | 2019-09-17 | 2023-05-26 | 平安科技（深圳）有限公司 | 目标数据归档方法、装置、计算机设备及介质 |
| CN110716895A (zh) * | 2019-09-17 | 2020-01-21 | 平安科技（深圳）有限公司 | 目标数据归档方法、装置、计算机设备及介质 |
| CN112817930A (zh) * | 2019-11-15 | 2021-05-18 | 北京沃东天骏信息技术有限公司 | 一种数据迁移的方法和装置 |
| CN111125054A (zh) * | 2019-11-21 | 2020-05-08 | 青岛聚好联科技有限公司 | 一种社区数据迁移的方法及装置 |
| CN111064599A (zh) * | 2019-11-26 | 2020-04-24 | 黎剑猛 | 一种监控插件迁移的方法及系统 |
| CN111064599B (zh) * | 2019-11-26 | 2022-09-06 | 山东龙帝科技发展有限公司 | 一种监控插件迁移的方法及系统 |
| CN113297321A (zh) * | 2020-07-27 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
| CN112256674A (zh) * | 2020-10-30 | 2021-01-22 | 中国建设银行股份有限公司 | 一种数据迁移方法、装置、电子设备和存储介质 |
| CN112883040A (zh) * | 2021-02-04 | 2021-06-01 | 中国工商银行股份有限公司 | 一种数据同步方法、装置及设备 |
| CN113297034A (zh) * | 2021-05-31 | 2021-08-24 | 中电福富信息科技有限公司 | 基于TeleDB和MySQL数据库的分布式数据集成系统及方法 |
| CN113254424A (zh) * | 2021-06-11 | 2021-08-13 | 腾讯科技（深圳）有限公司 | 数据服务迁移方法、装置及设备 |
| CN117743463A (zh) * | 2023-12-22 | 2024-03-22 | 上海掌数科技有限公司 | 一种高速数据传输同步的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107423436A (zh) | 一种用于不同类型数据库间在线数据迁移的方法 | |
| US11500903B2 (en) | Generic multi-source heterogeneous large-scale data synchronization client-server method | |
| US10956601B2 (en) | Fully managed account level blob data encryption in a distributed storage environment | |
| US20210064476A1 (en) | Backup of partitioned database tables | |
| US10764045B2 (en) | Encrypting object index in a distributed storage environment | |
| CN110147411B (zh) | 数据同步方法、装置、计算机设备及存储介质 | |
| US10659225B2 (en) | Encrypting existing live unencrypted data using age-based garbage collection | |
| US20180322017A1 (en) | Restoring partitioned database tables from backup | |
| US20170228417A1 (en) | Verification of database table partitions during backup | |
| US10740300B1 (en) | Synchronization of metadata in a distributed storage system | |
| US8751456B2 (en) | Application wide name space for enterprise object store file system | |
| KR20180055952A (ko) | 데이터베이스 관리 시스템에서의 데이터 복제 기법 | |
| CN107122360A (zh) | 数据迁移系统和方法 | |
| CN105786998A (zh) | 数据库中间件系统及利用其处理数据的方法 | |
| CN101242616A (zh) | 局数据智能化制作方法及局数据智能化制作系统 | |
| CN115878046A (zh) | 数据处理方法、系统、装置、存储介质及电子设备 | |
| CN109145155A (zh) | 海量遥感影像元数据高并发入库处理方法 | |
| CN109902070B (zh) | 一种面向WiFi日志数据的解析存储搜索方法 | |
| CN115033569A (zh) | 一种自定义遥感影像元数据入库方法 | |
| CN116955355A (zh) | 一种区块数据处理方法、装置及电子设备 | |
| US20220300461A1 (en) | Correction, Synchronization, and Migration of Databases | |
| EP4160951B1 (en) | Data transmission methods, devices, system, and medium | |
| KR102225258B1 (ko) | 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램 | |
| CN113312351A (zh) | 一种数据处理方法和装置 | |
| CN114510529A (zh) | 数据同步方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171201 |
|
| RJ01 | Rejection of invention patent application after publication |