CN102752372A - 一种基于文件的数据库同步方法 - Google Patents
一种基于文件的数据库同步方法 Download PDFInfo
- Publication number
- CN102752372A CN102752372A CN2012101999803A CN201210199980A CN102752372A CN 102752372 A CN102752372 A CN 102752372A CN 2012101999803 A CN2012101999803 A CN 2012101999803A CN 201210199980 A CN201210199980 A CN 201210199980A CN 102752372 A CN102752372 A CN 102752372A
- Authority
- CN
- China
- Prior art keywords
- increment
- database
- file
- data
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于文件的数据库同步方法，其主要技术特点是：采用在源端数据库安装数据同步工具组件，并且在目标端数据库安装ETL服务组件，ETL服务组件与数据同步工具组件之间通过协议控制并以文件方式从源端数据库向目标端数据库进行同步。本发明设计合理，以文件方式快速地从源端数据库向目标端数据库进行数据库同步，能高效地保存所要同步的数据库数据，并且在异构数据库和操作系统环境中，均能解析文件进行数据的同步操作，从而支持向多种异构数据库进行同步的特性，同时，采用全量同步和增量同步方法，提高了数据库同步效率。
Description
技术领域
本发明属于数据库同步技术领域，特别涉及一种基于文件的数据库同步方法。
背景技术
在生产环境中，进行操作系统升级或变更、数据库升级、存储设备升级，能够大幅度地提高数据迁移和同步的复杂程度。在数据迁移过程中，往往需要对现有业务进行中断，这样的中断会降低服务质量和客户满意度，对企业造成巨大的损失，由此可见数据库的同步技术具有十分重要的意义。
目前，现有数据库的数据同步解决方案主要包括存储复制技术、数据库复制技术和ETL抽取技术三大类。1、存储复制技术是利用存储阵列自身的盘阵对盘阵的数据块复制来实现对生产数据的远程拷贝，从而实现生产数据的灾难保护。采用基于存储复制技术的必要前提是必须采用同一厂家的存储平台，复制中心的主机平台和生产中心相同，在复制过程中目标端数据不可用，这种复制只能是全库复制。2、数据库复制技术是通过数据库的日志来获取数据进行同步，代表性产品包括DSG Realsync、Quest SharePlex和Oracle DataGuard等，它们的工作原理都与Oracle的日志相关，通过对Oracle日志分析获取跟踪源系统的交易指令，然后将交易指令传送到目标端进行重新执行来实现数据复制。数据库复制技术支持异构系统复制，复制时能指定用户、表、行和列，应用的灵活性比较高，在复制的过程中目标端处于可用状态，能用作数据查询、报表和数据抽取等任务。3、ETL抽取技术及数据抽取(Extract)、转换(Transform)、装载(Load)的过程，它是构建数据仓库的重要环节，ETL工具实质上是一种数据转换器，提供一种从源到目标系统转换数据的方法，从表面上看与数据复制或同步软件有些类似，但ETL的定位和重点与数据同步技术具有不同，ETL工具会涉及到大量的业务逻辑，需要进行字段映射、多字段的混合运算、复杂条件过滤等操作，此外ETL工具需要通过SQL接口来获取数据，抽取数据的性能比较低，基本上不能满足数据库的实时同步的性能需求。
综上所述，现有的数据库的数据同步方法均存在不支持异构数据库同步、同步过程中对源端数据库性能有影响、数据库同步效率不高的缺点。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于文件的数据库同步方法，其采用文件方式快速地从源端数据库向目标端数据库同步，解决了不支持异构数据库同步、同步过程中对源端数据库性能有影响以及数据库同步效率不高的问题。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于文件的数据库同步方法，采用在源端数据库安装数据同步工具组件，并且在目标端数据库安装ETL服务组件，ETL服务组件与数据同步工具组件之间通过协议控制并以文件方式从源端数据库向目标端数据库进行同步。
而且，所述从源端数据库向目标端数据库进行同步的方法包括指定表的全量同步处理方法以及其后的指定表的增量同步处理方法。
而且，所述的指定表的全量同步处理方法包括以下步骤：
步骤1：ETL服务组件向数据同步工具组件发送全量同步控制命令，进入指定表的全量同步模式；
步骤2：数据同步工具组件在源端数据库上将指定表的数据批量导出生成增量日志文件并存入到FTP服务器上；
步骤3：ETL服务组件在指定表的全量同步处理结束后，向数据同步工具组件发送停止全量同步的控制命令，ETL服务组件通过FTP客户端连接到源端数据库的FTP服务器端，获取增量日志文件并将其中的批量数据导入到目标端数据库里。
而且，所述指定表的增量同步处理方法包括以下步骤：
步骤1：ETL服务组件向数据同步工具组件发送增量同步控制命令，进入指定表的增量同步模式；
步骤2：数据同步工具组件从源端数据库中分析出同步过程中对源端数据库发生的修改记录，将这些修改写入到增量日志文件中，然后将其存入到FTP服务器中；
步骤3：ETL服务组件通过FTP客户端连接到源端数据库的FTP服务器端，获取增量日志文件并将增量日志中的数据导入到目标端数据库里，ETL服务组件解析增量日志文件，将增量数据导入到目的端数据库。
而且，在增量同步处理模式中，还包括增量数据同步的表变更处理步骤，其具体处理过程为：ETL服务组件向数据同步工具组件发送停止增量同步控制命令，停止指定表的增量同步模式，启动指定表的全量同步模式，待增量数据同步的表变更处理处理结束后，再恢复到指定表的增量同步处理任务。
而且，所述数据同步工具组件写入增量日志文件的方法包括数据同步工具组件对DML语句的处理方法和对DDL语句的处理方法，其中：
数据同步工具组件对DML语句的处理方法是：从查询表-文件映射表中查找DML语句所涉及查询表所对应的增量日志文件，如果未找到文件句柄，则生成空的增量日志文件后，加入到表和增量日志文件的查询表-文件映射表里，在查询表的模式缓存里查询表的模式定义，对于没有找到模式定义的表查询模式定义并加入缓存，根据查询表的模式定义生成文件的第一行的行头，最后将DML语句写入增量日志文件；
数据同步工具组件对DDL语句的处理方法是：从查询表-文件映射表中查找DML语句所涉及查询表所对应的增量日志文件，如果找到文件句柄，对此增量日志文件生成CRC校验文件移动到FTP的增量文件数据目录里,然后，生成新的增量日志文件，加入到表和增量日志文件的查询表-文件映射表里，在查询表的模式缓存里查询表的模式定义，对于没有找到模式定义的表查询模式定义并加入缓存，根据查询表的模式定义生成文件的第一行的行头，最后将DDL语句写入增量日志文件。
而且，所述的增量日志文件以CSV格式进行数据存储，第一行为行头，用于存储列名信息，每列包括如下的字段：用于保存SQL语句类型的字段、用于保存SQL语句字符串的字段、用于保存该行记录类型的字段、用于标识更新数据时原表发生变更的字段、用于保存当前操作行数据库ROWID的字段以及用于保存原始表中每一列数据的字段。
本发明的优点和积极效果是：
本发明采用在源端数据库安装数据同步工具组件，并且在目标端数据库安装ETL服务组件，以文件方式快速地从源端数据库向目标端数据库进行数据库同步，能高效地保存所要同步的数据库数据，并且在异构数据库和操作系统环境中，均能解析文件进行数据的同步操作，从而支持向多种异构数据库进行同步的特性，同时，采用全量同步和增量同步方法，提高了数据库同步效率。
附图说明
图1是本发明的数据库同步控制原理图；
图2是数据库同步的处理流程图；
图3是增量数据同步的表变更流程图；
图4是DML语句写入日志文件流程图；
图5是DDL语句写入日志文件流程图。
具体实施方式
以下结合附图对本发明实施例做进一步详述：
一种基于文件的数据库同步方法，如图1所示，采用在源端数据库安装数据同步工具组件，并且在目标端数据库安装ETL服务组件(数据提取、转换和加载服务组件)，ETL服务组件与数据同步工具组件之间通过协议控制以文件方式快速地从源端数据库向目标端数据库进行同步。
数据同步工具组件的主要功能是：接收ETL服务组件的控制命令，将需要同步的数据存入增量日志文件并将增量日志文件写入到FTP服务器中。
ETL服务组件的主要功能是：向数据同步工具组件发送控制命令，实现数据库同步控制功能；通过FTP客户端从FTP服务器中获取增量日志文件，对增量日志文件进行分析，将需要同步的数据导入到目标端数据库，并且将已处理过的日志文件删除。
本同步数据库同步控制方法为了支持多种平台和异构数据库，采用文件方式传递数据库数据，文件整体采用CSV格式进行数据存储，第一行为行头，用于存储列名信息，文件中的列分割符为“,”，行分割符为“\n”，异常字符采用双引号进行转义，转义方式为在该列两端加入双引号，并将字符串中原来的双引号转移成两个连续的双引号。如果列数据中不包括任何双引号，不需要在列数据的左右加上双引号。对于两个连续的逗号列分割符，表示该列为空，文件中不存在空串，只有空值。增量日志文件中，每列的定义如下：
（1）、字段名DDLOPER$，用于保存SQL语句的类型。
（2）、字段名DDLDESC$，用于保存SQL语句的字符串。
（3）、字段名OPERATION$，用于保存该行记录的类型，可以取的值有插入记录、更新前数据、更新后结果、删除记录。
（4）、字段名COLMAP$，用于标识更新数据时原表中哪几列发生变更的，存储格式为0x开头的16进制编码字符串。每个字节的二进制位的值为1表示列发生了变更，为0表示列未发生变更。对于字符串0XCE43，第一个字节CE的二进制编码为11001110，说明该行的第2、3、4、7、8列发生变更，再取第二个字节43的二进制编码为01000011，说明第9、10、15列发生变更。综上，该行的2、3、4、7、8、9、10、15列发生变更。
（5）、字段名ROWID$，用于保存当前操作行的数据库ROWID。
（6）、字段名为原始表的列名，用于保存原始表中每一列的数据。
采用上述文件格式能高效地保存所要同步的数据库数据，在异构的数据库和操作系统环境中，均能解析文件进行数据的同步操作，采用全量同步和实时同步方法，提高了数据库同步效率。
基于文件的数据库同步方法，如图2所示，包括指定表的全量同步处理方法和指定表的增量同步处理方法。其中，指定表的全量同步处理方法包括以下步骤：
步骤1：ETL服务组件向数据同步工具组件发送全量同步控制命令，进入指定表的全量同步模式。
本步骤是在目标端数据库中的表没有数据时进行的，即：如果目标端数据库的表中没有数据时，需要进行指定表的全量同步处理过程，进入指定表的全量同步模式。
步骤2：数据同步工具组件在源端数据库上将指定表的数据批量导出生成增量日志文件并存入到FTP服务器上，在进行全量同步处理时，源端数据库业务不会中断。
步骤3：ETL服务组件在指定表的全量同步处理结束后，向数据同步工具组件发送停止全量同步的控制命令，ETL服务组件通过FTP客户端连接到源端数据库的FTP服务器端，获取增量日志文件并将其中的批量数据导入到目标端数据库里。
指定表的增量同步处理方法包括以下步骤：
步骤1：在指定表的全量同步数据库处理结束后，ETL服务组件向数据同步工具组件发送增量同步控制命令，进入指定表的增量同步模式；
步骤2：数据同步工具组件从源端数据库中分析出同步过程中对源端数据库发生的修改记录，将这些修改写入到增量日志文件中，然后将其存入到FTP服务器中；
步骤3：ETL服务组件通过FTP客户端连接到源端数据库的FTP服务器端，获取增量日志文件并将增量日志中的数据导入到目标端数据库里，ETL服务组件解析增量日志文件，将增量数据导入到目的端数据库，从而将新产生的变化数据完成了从源端数据库到目标端数据库的同步。
在增量同步处理模式中，如果要进行增加一张表的增量同步处理任务，则需要进行增量数据同步的表变更处理，如图3所示，增量数据同步的表变更的具体处理过程为：ETL服务组件向数据同步工具组件发送停止增量同步控制命令，停止指定表的增量同步模式，启动指定表的全量同步模式，待增量数据同步的表变更处理处理结束后，再恢复到指定表的增量同步处理任务。
在上述指定表的全量同步处理过程中和指定表的增量同步处理过程中，数据同步工具组件写入增量日志文件的方法包括数据同步工具组件对DML语句的处理方法和对DDL语句的处理方法，下面分别进行说明：
如图4所示，数据同步工具组件在处理到DML语句时，从查询表文件映射表中查找DML语句所涉及查询表所对应的增量日志文件。如果未找到文件句柄，说明是首次为该表生成增量日志文件，则生成空的增量日志文件后，加入到表和增量日志文件的查询表-文件映射表里，在查询表的模式缓存里查询表的模式定义，对于没有找到模式定义的表查询模式定义并加入缓存，根据查询表的模式定义生成文件的第一行的行头，最后将DML语句写入增量日志文件。
如图5所示，数据同步工具组件在处理到DML语句时，从查询表文件映射表中查找DML语句所涉及查询表所对应的增量日志文件，如果找到文件句柄，对此增量日志文件生成CRC校验文件移动到FTP的增量文件数据目录里。生成新的增量日志文件，加入到表和增量日志文件的查询表文件映射表里，在查询表的模式缓存里查询表的模式定义，对于没有找到模式定义的表查询模式定义并加入缓存，根据查询表的模式定义生成文件的第一行的行头，最后将DDL语句写入增量日志文件。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (7)
1.一种基于文件的数据库同步方法，其特征在于：采用在源端数据库安装数据同步工具组件，并且在目标端数据库安装ETL服务组件，ETL服务组件与数据同步工具组件之间通过协议控制并以文件方式从源端数据库向目标端数据库进行同步。
2.根据权利要求1所述的一种基于文件的数据库同步方法，其特征在于：所述从源端数据库向目标端数据库进行同步的方法包括指定表的全量同步处理方法以及其后的指定表的增量同步处理方法。
3.根据权利要求2所述的一种基于文件的数据库同步方法，其特征在于：所述的指定表的全量同步处理方法包括以下步骤：
步骤1：ETL服务组件向数据同步工具组件发送全量同步控制命令，进入指定表的全量同步模式；
步骤2：数据同步工具组件在源端数据库上将指定表的数据批量导出生成增量日志文件并存入到FTP服务器上；
步骤3：ETL服务组件在指定表的全量同步处理结束后，向数据同步工具组件发送停止全量同步的控制命令，ETL服务组件通过FTP客户端连接到源端数据库的FTP服务器端，获取增量日志文件并将其中的批量数据导入到目标端数据库里。
4.根据权利要求2所述的一种基于文件的数据库同步方法，其特征在于：所述指定表的增量同步处理方法包括以下步骤：
步骤1：ETL服务组件向数据同步工具组件发送增量同步控制命令，进入指定表的增量同步模式；
步骤2：数据同步工具组件从源端数据库中分析出同步过程中对源端数据库发生的修改记录，将这些修改写入到增量日志文件中，然后将其存入到FTP服务器中；
步骤3：ETL服务组件通过FTP客户端连接到源端数据库的FTP服务器端，获取增量日志文件并将增量日志中的数据导入到目标端数据库里，ETL服务组件解析增量日志文件，将增量数据导入到目的端数据库。
5.根据权利要求4所述的一种基于文件的数据库同步方法，其特征在于：在增量同步处理模式中，还包括增量数据同步的表变更处理步骤，其具体处理过程为：ETL服务组件向数据同步工具组件发送停止增量同步控制命令，停止指定表的增量同步模式，启动指定表的全量同步模式，待增量数据同步的表变更处理处理结束后，再恢复到指定表的增量同步处理任务。
6.根据权利要求3至5任一项所述的一种基于文件的数据库同步方法，其特征在于：所述数据同步工具组件写入增量日志文件的方法包括数据同步工具组件对DML语句的处理方法和对DDL语句的处理方法，其中：
数据同步工具组件对DML语句的处理方法是：从查询表-文件映射表中查找DML语句所涉及查询表所对应的增量日志文件，如果未找到文件句柄，则生成空的增量日志文件后，加入到表和增量日志文件的查询表-文件映射表里，在查询表的模式缓存里查询表的模式定义，对于没有找到模式定义的表查询模式定义并加入缓存，根据查询表的模式定义生成文件的第一行的行头，最后将DML语句写入增量日志文件；
数据同步工具组件对DDL语句的处理方法是：从查询表-文件映射表中查找DML语句所涉及查询表所对应的增量日志文件，如果找到文件句柄，对此增量日志文件生成CRC校验文件移动到FTP的增量文件数据目录里,然后，生成新的增量日志文件，加入到表和增量日志文件的查询表-文件映射表里，在查询表的模式缓存里查询表的模式定义，对于没有找到模式定义的表查询模式定义并加入缓存，根据查询表的模式定义生成文件的第一行的行头，最后将DDL语句写入增量日志文件。
7.根据权利要求3至5任一项所述的一种基于文件的数据库同步方法，其特征在于：所述的增量日志文件以CSV格式进行数据存储，第一行为行头，用于存储列名信息，每列包括如下的字段：用于保存SQL语句类型的字段、用于保存SQL语句字符串的字段、用于保存该行记录类型的字段、用于标识更新数据时原表发生变更的字段、用于保存当前操作行数据库ROWID的字段以及用于保存原始表中每一列数据的字段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012101999803A CN102752372A (zh) | 2012-06-18 | 2012-06-18 | 一种基于文件的数据库同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012101999803A CN102752372A (zh) | 2012-06-18 | 2012-06-18 | 一种基于文件的数据库同步方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102752372A true CN102752372A (zh) | 2012-10-24 |
Family
ID=47032270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012101999803A Pending CN102752372A (zh) | 2012-06-18 | 2012-06-18 | 一种基于文件的数据库同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102752372A (zh) |
Cited By (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103067483A (zh) * | 2012-12-25 | 2013-04-24 | 广东邮电职业技术学院 | 基于数据包的远程数据增量同步方法和装置 |
| CN103577586A (zh) * | 2013-11-08 | 2014-02-12 | 北京国双科技有限公司 | 日志记录的处理方法及装置 |
| CN104778175A (zh) * | 2014-01-13 | 2015-07-15 | 世纪禾光科技发展（北京）有限公司 | 一种实现异构数据库数据同步的方法及系统 |
| CN104881494A (zh) * | 2015-06-12 | 2015-09-02 | 北京奇虎科技有限公司 | 与Redis服务器进行数据同步的方法、装置和系统 |
| CN105847378A (zh) * | 2016-04-13 | 2016-08-10 | 北京思特奇信息技术股份有限公司 | 一种实现大数据同步的方法和系统 |
| CN106156028A (zh) * | 2015-03-24 | 2016-11-23 | 中国移动通信集团重庆有限公司 | 一种数据处理方法和系统 |
| CN106326376A (zh) * | 2016-08-15 | 2017-01-11 | 东软集团股份有限公司 | 用于表结构变更后的信息复制方法和装置 |
| CN106802892A (zh) * | 2015-11-26 | 2017-06-06 | 阿里巴巴集团控股有限公司 | 用于主备数据一致性校验的方法和设备 |
| CN106815275A (zh) * | 2015-12-02 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种通过备用数据库实现主备数据库同步的方法与设备 |
| CN107122360A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN107122355A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN107122361A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN107547606A (zh) * | 2016-06-29 | 2018-01-05 | 中兴通讯股份有限公司 | 数据处理方法、集群管理器、资源管理器、数据处理系统 |
| CN107657002A (zh) * | 2017-09-20 | 2018-02-02 | 北京九桥同步软件有限公司 | 文件同步方法及装置 |
| CN108062320A (zh) * | 2016-11-08 | 2018-05-22 | 长沙博为软件技术股份有限公司 | 一种针对桌面应用程序的数据采集、转换及装载的方法 |
| CN108399256A (zh) * | 2018-03-06 | 2018-08-14 | 北京慧萌信安软件技术有限公司 | 异构数据库内容同步方法、装置及中间件 |
| CN108664634A (zh) * | 2018-05-15 | 2018-10-16 | 中国平安人寿保险股份有限公司 | 数据管理方法、装置、计算机设备及存储介质 |
| CN108763234A (zh) * | 2018-02-01 | 2018-11-06 | 宝付网络科技（上海）有限公司 | 一种数据实时同步方法及系统 |
| CN108769212A (zh) * | 2018-05-31 | 2018-11-06 | 康键信息技术（深圳）有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
| CN108965383A (zh) * | 2018-05-31 | 2018-12-07 | 康键信息技术（深圳）有限公司 | 文件同步方法、装置、计算机设备和存储介质 |
| CN108984725A (zh) * | 2018-07-11 | 2018-12-11 | 浪潮软件股份有限公司 | 一种跨网闸数据同步方法 |
| CN109033329A (zh) * | 2018-07-19 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种数据快速导入数据库的方法、装置、设备及存储介质 |
| CN109165263A (zh) * | 2018-10-16 | 2019-01-08 | 农信银资金清算中心有限责任公司 | 数据库的日志分析处理方法及装置、ddl同步方法及装置 |
| CN109165225A (zh) * | 2018-09-05 | 2019-01-08 | 浪潮软件股份有限公司 | 一种基于字节流格式的kudu数据导入系统及方法 |
| CN109189860A (zh) * | 2018-10-19 | 2019-01-11 | 山东浪潮云信息技术有限公司 | 一种基于Kubernetes系统的MySQL主备增量同步方法 |
| CN109241185A (zh) * | 2018-08-27 | 2019-01-18 | 武汉达梦数据库有限公司 | 一种数据同步的方法以及数据同步装置 |
| CN109284339A (zh) * | 2018-11-30 | 2019-01-29 | 安徽继远软件有限公司 | 一种数据库数据实时同步的方法和装置 |
| CN109376196A (zh) * | 2018-09-25 | 2019-02-22 | 浪潮软件集团有限公司 | 一种redo日志批量同步方法及装置 |
| CN109634972A (zh) * | 2018-11-12 | 2019-04-16 | 武汉达梦数据库有限公司 | 一种数据同步时使用rowid定位的方法 |
| CN109656934A (zh) * | 2018-11-19 | 2019-04-19 | 武汉达梦数据库有限公司 | 基于日志解析的源端Oracle数据库DDL同步方法及设备 |
| CN109885581A (zh) * | 2019-03-14 | 2019-06-14 | 苏州达家迎信息技术有限公司 | 数据库的同步方法、装置、设备及存储介质 |
| CN109933630A (zh) * | 2019-03-19 | 2019-06-25 | 武汉达梦数据库有限公司 | 数据库数据实时同步方法及设备 |
| CN109992595A (zh) * | 2019-04-11 | 2019-07-09 | 北京启迪区块链科技发展有限公司 | 异构数据库转换方法、装置、设备和存储介质 |
| CN110019140A (zh) * | 2017-12-29 | 2019-07-16 | 华为技术有限公司 | 数据迁移方法、装置、设备以及计算机可读存储介质 |
| CN110046168A (zh) * | 2019-03-28 | 2019-07-23 | 苏宁易购集团股份有限公司 | 一种增量数据一致性实现方法及装置 |
| CN110209728A (zh) * | 2019-04-22 | 2019-09-06 | 凯通科技股份有限公司 | 一种分布式异构数据库同步方法、电子设备及存储介质 |
| CN110515964A (zh) * | 2019-08-30 | 2019-11-29 | 百度在线网络技术（北京）有限公司 | 一种文件更新方法、装置、电子设备和介质 |
| CN110651265A (zh) * | 2017-03-28 | 2020-01-03 | 英国天然气控股有限公司 | 数据复制系统 |
| CN110795496A (zh) * | 2018-08-02 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置及系统 |
| CN110851511A (zh) * | 2019-10-09 | 2020-02-28 | 上海易点时空网络有限公司 | 数据同步的方法及装置 |
| CN110958287A (zh) * | 2018-09-27 | 2020-04-03 | 阿里巴巴集团控股有限公司 | 操作对象数据同步方法、装置及系统 |
| CN111159020A (zh) * | 2019-12-20 | 2020-05-15 | 武汉达梦数据库有限公司 | 一种应用于同步软件测试的方法和装置 |
| CN111221909A (zh) * | 2019-12-31 | 2020-06-02 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据库修改列同步方法和装置 |
| CN111782618A (zh) * | 2020-06-24 | 2020-10-16 | 中国电子科技集团公司电子科学研究院 | 一种数据同步系统 |
| CN112100275A (zh) * | 2020-09-02 | 2020-12-18 | 上海微亿智造科技有限公司 | 一种数据同步方法、系统及电子设备 |
| CN112597242A (zh) * | 2020-12-16 | 2021-04-02 | 四川新网银行股份有限公司 | 一种基于涉及批量任务的应用系统数据切片的抽取方法 |
| CN112948494A (zh) * | 2021-03-04 | 2021-06-11 | 北京沃东天骏信息技术有限公司 | 数据同步方法、装置、电子设备和计算机可读介质 |
| CN113206757A (zh) * | 2021-04-25 | 2021-08-03 | 烽火通信科技股份有限公司 | 流式同步网管配置全量数据和增量数据的方法及电子设备 |
| CN113407633A (zh) * | 2018-09-13 | 2021-09-17 | 华东交通大学 | 一种分布式数据源异构同步的方法 |
| CN113704213A (zh) * | 2021-08-20 | 2021-11-26 | 辽宁振兴银行股份有限公司 | 一种基于sqlldr2和ogg数据同步的实现方法 |
| CN115098537A (zh) * | 2021-10-19 | 2022-09-23 | 腾讯科技（深圳）有限公司 | 事务执行方法、装置、计算设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060222160A1 (en) * | 2005-03-31 | 2006-10-05 | Marcel Bank | Computer network system for building, synchronising and/or operating a second database from/with a first database, and procedures for it |
| CN101127915A (zh) * | 2007-09-20 | 2008-02-20 | 中兴通讯股份有限公司 | 一种基于增量式的电子节目导航数据同步方法及系统 |
| CN101132269A (zh) * | 2007-07-26 | 2008-02-27 | 中兴通讯股份有限公司 | 数据同步方法及使用该方法的iptv内容分发网络系统 |
| CN101369283A (zh) * | 2008-09-25 | 2009-02-18 | 中兴通讯股份有限公司 | 一种内存数据库与物理数据库间的数据同步方法及系统 |
| CN102346775A (zh) * | 2011-09-26 | 2012-02-08 | 苏州博远容天信息科技有限公司 | 一种基于日志的异构多源数据库同步方法 |
-
2012
- 2012-06-18 CN CN2012101999803A patent/CN102752372A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060222160A1 (en) * | 2005-03-31 | 2006-10-05 | Marcel Bank | Computer network system for building, synchronising and/or operating a second database from/with a first database, and procedures for it |
| CN101132269A (zh) * | 2007-07-26 | 2008-02-27 | 中兴通讯股份有限公司 | 数据同步方法及使用该方法的iptv内容分发网络系统 |
| CN101127915A (zh) * | 2007-09-20 | 2008-02-20 | 中兴通讯股份有限公司 | 一种基于增量式的电子节目导航数据同步方法及系统 |
| CN101369283A (zh) * | 2008-09-25 | 2009-02-18 | 中兴通讯股份有限公司 | 一种内存数据库与物理数据库间的数据同步方法及系统 |
| CN102346775A (zh) * | 2011-09-26 | 2012-02-08 | 苏州博远容天信息科技有限公司 | 一种基于日志的异构多源数据库同步方法 |
Cited By (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103067483A (zh) * | 2012-12-25 | 2013-04-24 | 广东邮电职业技术学院 | 基于数据包的远程数据增量同步方法和装置 |
| CN103577586A (zh) * | 2013-11-08 | 2014-02-12 | 北京国双科技有限公司 | 日志记录的处理方法及装置 |
| CN103577586B (zh) * | 2013-11-08 | 2017-03-15 | 北京国双科技有限公司 | 日志记录的处理方法及装置 |
| CN104778175A (zh) * | 2014-01-13 | 2015-07-15 | 世纪禾光科技发展（北京）有限公司 | 一种实现异构数据库数据同步的方法及系统 |
| CN106156028A (zh) * | 2015-03-24 | 2016-11-23 | 中国移动通信集团重庆有限公司 | 一种数据处理方法和系统 |
| CN104881494B (zh) * | 2015-06-12 | 2019-02-19 | 北京奇虎科技有限公司 | 与Redis服务器进行数据同步的方法、装置和系统 |
| CN104881494A (zh) * | 2015-06-12 | 2015-09-02 | 北京奇虎科技有限公司 | 与Redis服务器进行数据同步的方法、装置和系统 |
| CN106802892A (zh) * | 2015-11-26 | 2017-06-06 | 阿里巴巴集团控股有限公司 | 用于主备数据一致性校验的方法和设备 |
| CN106815275B (zh) * | 2015-12-02 | 2020-11-27 | 阿里巴巴集团控股有限公司 | 一种通过备用数据库实现主备数据库同步的方法与设备 |
| CN106815275A (zh) * | 2015-12-02 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种通过备用数据库实现主备数据库同步的方法与设备 |
| CN107122361B (zh) * | 2016-02-24 | 2021-07-06 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN107122361A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN107122360A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN107122360B (zh) * | 2016-02-24 | 2021-06-15 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN107122355B (zh) * | 2016-02-24 | 2021-07-06 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN107122355A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN105847378A (zh) * | 2016-04-13 | 2016-08-10 | 北京思特奇信息技术股份有限公司 | 一种实现大数据同步的方法和系统 |
| CN105847378B (zh) * | 2016-04-13 | 2019-06-28 | 北京思特奇信息技术股份有限公司 | 一种实现大数据同步的方法和系统 |
| CN107547606A (zh) * | 2016-06-29 | 2018-01-05 | 中兴通讯股份有限公司 | 数据处理方法、集群管理器、资源管理器、数据处理系统 |
| CN107547606B (zh) * | 2016-06-29 | 2021-01-26 | 中兴通讯股份有限公司 | 数据处理方法、集群管理器、资源管理器、数据处理系统 |
| CN106326376A (zh) * | 2016-08-15 | 2017-01-11 | 东软集团股份有限公司 | 用于表结构变更后的信息复制方法和装置 |
| CN108062320A (zh) * | 2016-11-08 | 2018-05-22 | 长沙博为软件技术股份有限公司 | 一种针对桌面应用程序的数据采集、转换及装载的方法 |
| CN110651265A (zh) * | 2017-03-28 | 2020-01-03 | 英国天然气控股有限公司 | 数据复制系统 |
| CN107657002A (zh) * | 2017-09-20 | 2018-02-02 | 北京九桥同步软件有限公司 | 文件同步方法及装置 |
| CN110019140A (zh) * | 2017-12-29 | 2019-07-16 | 华为技术有限公司 | 数据迁移方法、装置、设备以及计算机可读存储介质 |
| CN110019140B (zh) * | 2017-12-29 | 2021-07-16 | 华为技术有限公司 | 数据迁移方法、装置、设备以及计算机可读存储介质 |
| CN108763234A (zh) * | 2018-02-01 | 2018-11-06 | 宝付网络科技（上海）有限公司 | 一种数据实时同步方法及系统 |
| CN108399256B (zh) * | 2018-03-06 | 2020-08-04 | 北京慧萌信安软件技术有限公司 | 异构数据库内容同步方法、装置及中间件 |
| CN108399256A (zh) * | 2018-03-06 | 2018-08-14 | 北京慧萌信安软件技术有限公司 | 异构数据库内容同步方法、装置及中间件 |
| CN108664634A (zh) * | 2018-05-15 | 2018-10-16 | 中国平安人寿保险股份有限公司 | 数据管理方法、装置、计算机设备及存储介质 |
| CN108965383B (zh) * | 2018-05-31 | 2023-03-24 | 康键信息技术（深圳）有限公司 | 文件同步方法、装置、计算机设备和存储介质 |
| CN108965383A (zh) * | 2018-05-31 | 2018-12-07 | 康键信息技术（深圳）有限公司 | 文件同步方法、装置、计算机设备和存储介质 |
| CN108769212A (zh) * | 2018-05-31 | 2018-11-06 | 康键信息技术（深圳）有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
| CN108984725A (zh) * | 2018-07-11 | 2018-12-11 | 浪潮软件股份有限公司 | 一种跨网闸数据同步方法 |
| CN109033329A (zh) * | 2018-07-19 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种数据快速导入数据库的方法、装置、设备及存储介质 |
| CN110795496B (zh) * | 2018-08-02 | 2023-05-30 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置及系统 |
| CN110795496A (zh) * | 2018-08-02 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置及系统 |
| CN109241185B (zh) * | 2018-08-27 | 2021-03-30 | 武汉达梦数据库股份有限公司 | 一种数据同步的方法以及数据同步装置 |
| CN109241185A (zh) * | 2018-08-27 | 2019-01-18 | 武汉达梦数据库有限公司 | 一种数据同步的方法以及数据同步装置 |
| CN109165225A (zh) * | 2018-09-05 | 2019-01-08 | 浪潮软件股份有限公司 | 一种基于字节流格式的kudu数据导入系统及方法 |
| CN113407633A (zh) * | 2018-09-13 | 2021-09-17 | 华东交通大学 | 一种分布式数据源异构同步的方法 |
| CN109376196B (zh) * | 2018-09-25 | 2021-04-13 | 浪潮软件科技有限公司 | 一种redo日志批量同步方法及装置 |
| CN109376196A (zh) * | 2018-09-25 | 2019-02-22 | 浪潮软件集团有限公司 | 一种redo日志批量同步方法及装置 |
| CN110958287A (zh) * | 2018-09-27 | 2020-04-03 | 阿里巴巴集团控股有限公司 | 操作对象数据同步方法、装置及系统 |
| CN109165263A (zh) * | 2018-10-16 | 2019-01-08 | 农信银资金清算中心有限责任公司 | 数据库的日志分析处理方法及装置、ddl同步方法及装置 |
| CN109189860A (zh) * | 2018-10-19 | 2019-01-11 | 山东浪潮云信息技术有限公司 | 一种基于Kubernetes系统的MySQL主备增量同步方法 |
| CN109634972A (zh) * | 2018-11-12 | 2019-04-16 | 武汉达梦数据库有限公司 | 一种数据同步时使用rowid定位的方法 |
| CN109656934A (zh) * | 2018-11-19 | 2019-04-19 | 武汉达梦数据库有限公司 | 基于日志解析的源端Oracle数据库DDL同步方法及设备 |
| CN109284339A (zh) * | 2018-11-30 | 2019-01-29 | 安徽继远软件有限公司 | 一种数据库数据实时同步的方法和装置 |
| CN109885581A (zh) * | 2019-03-14 | 2019-06-14 | 苏州达家迎信息技术有限公司 | 数据库的同步方法、装置、设备及存储介质 |
| CN109885581B (zh) * | 2019-03-14 | 2021-09-17 | 苏州达家迎信息技术有限公司 | 数据库的同步方法、装置、设备及存储介质 |
| CN109933630A (zh) * | 2019-03-19 | 2019-06-25 | 武汉达梦数据库有限公司 | 数据库数据实时同步方法及设备 |
| CN110046168B (zh) * | 2019-03-28 | 2021-03-26 | 南京苏宁软件技术有限公司 | 一种增量数据一致性实现方法及装置 |
| CN110046168A (zh) * | 2019-03-28 | 2019-07-23 | 苏宁易购集团股份有限公司 | 一种增量数据一致性实现方法及装置 |
| CN109992595A (zh) * | 2019-04-11 | 2019-07-09 | 北京启迪区块链科技发展有限公司 | 异构数据库转换方法、装置、设备和存储介质 |
| CN110209728B (zh) * | 2019-04-22 | 2023-10-20 | 凯通科技股份有限公司 | 一种分布式异构数据库同步方法、电子设备及存储介质 |
| CN110209728A (zh) * | 2019-04-22 | 2019-09-06 | 凯通科技股份有限公司 | 一种分布式异构数据库同步方法、电子设备及存储介质 |
| CN110515964A (zh) * | 2019-08-30 | 2019-11-29 | 百度在线网络技术（北京）有限公司 | 一种文件更新方法、装置、电子设备和介质 |
| CN110851511A (zh) * | 2019-10-09 | 2020-02-28 | 上海易点时空网络有限公司 | 数据同步的方法及装置 |
| CN111159020A (zh) * | 2019-12-20 | 2020-05-15 | 武汉达梦数据库有限公司 | 一种应用于同步软件测试的方法和装置 |
| CN111221909A (zh) * | 2019-12-31 | 2020-06-02 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据库修改列同步方法和装置 |
| CN111782618B (zh) * | 2020-06-24 | 2023-01-31 | 中国电子科技集团公司电子科学研究院 | 一种数据同步系统 |
| CN111782618A (zh) * | 2020-06-24 | 2020-10-16 | 中国电子科技集团公司电子科学研究院 | 一种数据同步系统 |
| CN112100275A (zh) * | 2020-09-02 | 2020-12-18 | 上海微亿智造科技有限公司 | 一种数据同步方法、系统及电子设备 |
| CN112597242A (zh) * | 2020-12-16 | 2021-04-02 | 四川新网银行股份有限公司 | 一种基于涉及批量任务的应用系统数据切片的抽取方法 |
| CN112597242B (zh) * | 2020-12-16 | 2023-06-06 | 四川新网银行股份有限公司 | 一种基于涉及批量任务的应用系统数据切片的抽取方法 |
| CN112948494A (zh) * | 2021-03-04 | 2021-06-11 | 北京沃东天骏信息技术有限公司 | 数据同步方法、装置、电子设备和计算机可读介质 |
| CN113206757A (zh) * | 2021-04-25 | 2021-08-03 | 烽火通信科技股份有限公司 | 流式同步网管配置全量数据和增量数据的方法及电子设备 |
| CN113704213A (zh) * | 2021-08-20 | 2021-11-26 | 辽宁振兴银行股份有限公司 | 一种基于sqlldr2和ogg数据同步的实现方法 |
| CN115098537A (zh) * | 2021-10-19 | 2022-09-23 | 腾讯科技（深圳）有限公司 | 事务执行方法、装置、计算设备及存储介质 |
| CN115098537B (zh) * | 2021-10-19 | 2023-03-10 | 腾讯科技（深圳）有限公司 | 事务执行方法、装置、计算设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102752372A (zh) | 一种基于文件的数据库同步方法 | |
| CN108052681B (zh) | 一种关系型数据库间结构化数据的同步方法及系统 | |
| CN104899295B (zh) | 一种异构数据源数据关联分析方法 | |
| CN106777225B (zh) | 一种数据的迁移方法和系统 | |
| CN102402596B (zh) | 一种主从分离数据库的读写方法和系统 | |
| CN103761318B (zh) | 一种关系型异构数据库数据同步的方法及系统 | |
| CN101499069B (zh) | 内存数据库文件的更新方法及更新装置 | |
| CN105138635B (zh) | 一种利用哈希值比对进行数据增量复制的方法 | |
| CN103617176A (zh) | 一种实现多源异构数据资源自动同步的方法 | |
| CN103425762A (zh) | 基于Hadoop平台的电信运营商海量数据处理方法 | |
| CN104778175A (zh) | 一种实现异构数据库数据同步的方法及系统 | |
| CN103793514A (zh) | 数据库同步方法及数据库 | |
| CN106776783B (zh) | 非结构化数据存储管理方法和系统 | |
| CN104573056A (zh) | 一种基于oracle数据库大数据量在线迁移的方法 | |
| CN103593422A (zh) | 一种异构数据库的虚拟访问管理方法 | |
| CN101551801A (zh) | 数据同步的方法和系统 | |
| CN105205105A (zh) | 一种基于storm的数据ETL系统及处理方法 | |
| CN105426396A (zh) | 一种基于路由算法的数据库分片方法、系统和中间件系统 | |
| CN105608126A (zh) | 一种建立海量数据库二级索引的方法和装置 | |
| US11553023B2 (en) | Abstraction layer for streaming data sources | |
| CN101650744A (zh) | 一种基于表空间迁移处理大数据量的系统及方法 | |
| CN104462351A (zh) | 一种面向MapReduce范型的数据查询模型与方法 | |
| CN104915414A (zh) | 数据抽取方法及装置 | |
| CN105677915A (zh) | 一种基于引擎的分布式业务数据存取方法 | |
| CN104008199A (zh) | 一种数据查询方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121024 |