CN111241191A - 一种数据库的同步方法及装置 - Google Patents
一种数据库的同步方法及装置 Download PDFInfo
- Publication number
- CN111241191A CN111241191A CN201911406311.7A CN201911406311A CN111241191A CN 111241191 A CN111241191 A CN 111241191A CN 201911406311 A CN201911406311 A CN 201911406311A CN 111241191 A CN111241191 A CN 111241191A
- Authority
- CN
- China
- Prior art keywords
- database
- source database
- source
- target
- target database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据库的同步方法，包括：获取源数据库的二进制日志文件；配置源数据库和目标数据库，解析所述二进制日志文件，生成对应的源数据库操作指令；将所述源数据库操作指令转换为目标数据库的操作指令；执行所述目标数据库的操作指令完成数据库的同步操作，解决了不同类型的数据库之间的数据同步不需要通过编写代码或通过应用程序实现的问题。
Description
技术领域
本申请涉及数据库管理领域，具体涉及一种数据库的同步方法，同时涉及一种数据库的同步装置。
背景技术
数据库同步技术是目前应用系统处理的核心，不但应用系统需要向数据库进行增/删/改/查操作，同样数据仓库也需要从众多的数据库中获取不同交易数据来完善自身的数据集。数据同步主要有两个层面，一是通过后台程序编码实现数据同步，二是直接作用于数据库，在数据库层面实现数据的同步。
目前常用的一些数据库同步的方法:a、通过发布/订阅的方式实现同步，发布/订阅是SQL Server自带的一种数据库备份的机制，通过该机制可以快速的实现数据的备份同步，不用编写任何的代码；b、通过SQL JOB方式实现数据同步,通过SQL Job定时作业的方式实现同步其基本原理就是通过目标服务器和源服务器的连接，然后通过编写SQL语句，从源服务器中读取数据，再更新到目标服务器；c、通过Service Broker消息队列的方式实现数据同步,SQL Server Service Broker是数据库引擎的组成部分，为SQL Server提供队列和可靠的消息传递。既可用于使用单个SQL Server实例的应用程序，也可用于在多个实例间分发工作的应用程序。
从目前常用的一些数据库同步的方法可知，目前，不同类型的数据库之间的数据同步需要通过编写代码或通过应用程序实现。
发明内容
本申请提供一种数据库的同步方法，解决了不同类型的数据库之间的数据同步不需要通过编写代码或通过应用程序实现的问题。
本申请提供一种数据库的同步方法，包括：
获取源数据库的二进制日志文件；
配置源数据库和目标数据库，解析所述二进制日志文件，生成对应的源数据库操作指令；将所述源数据库操作指令转换为目标数据库的操作指令；
执行所述目标数据库的操作指令完成数据库的同步操作。
优选的，所述获取源数据库的二进制日志文件，包括：
若数据库为MySQL数据库，则获取binlog日志。
优选的，所述配置源数据库和目标数据库，包括：
配置源数据库的二进制日志文件的存放路径；
读取源数据库上次的同步位置；
在源数据库建立缓存区，将源数据库的二进制日志文件转换成文本并写入缓存区；
记录源数据库当前的同步位置；
建立目标数据库与源数据库的映射。
优选的，所述解析所述二进制日志文件，生成对应的源数据库操作指令，将所述源数据库操作指令转换为目标数据库的操作指令，具体的包括：
若源数据库为MySQL数据库，则解析所述binlog日志；
根据所述binlog日志提取SQL语句，并将所述SQL语句转换为目标数据库SQL语句；
将所述目标数据库SQL语句转换成cmd指令。
优选的，根据所述binlog日志提取SQL语句，包括：
按照MySQL数据库的二进制日志的格式，提取关键的SQL语句。
优选的，在将所述目标数据库SQL语句转换成cmd指令的步骤之前，还包括：
加密所述目标数据库SQL语句中的关键字段值。
优选的，所述执行所述目标数据库的操作指令完成数据库的同步操作，包括：
在所述目标数据库执行cmd指令，完成源数据库到目标数据库的同步操作。
优选的，在执行所述目标数据库的操作指令完成数据库的同步操作的步骤之后，还包括：
将执行过程写入日志；
将执行失败的命令保存至错误数据存放路径；
备份同步的数据。
优选的，所述源数据库和目标数据库，可以为不同类型的数据库。
本申请同时提供一种数据库的同步装置，包括；
日志获取单元，用于获取源数据库的二进制日志文件：
操作指令获取单元，用于配置源数据库和目标数据库，解析所述二进制日志文件，生成对应的源数据库操作指令；将所述源数据库操作指令转换为目标数据库的操作指令；
同步单元，用于执行所述目标数据库的操作指令完成数据库的同步操作。
本申请提供一种数据库的同步方法，通过解析源数据库的二进制日志文件，获得数据库的操作指令，使用操作指令完成源数据库至目标数据库的同步操作，解决了不同类型的数据库之间的数据同步不需要通过编写代码或通过应用程序实现的问题。
附图说明
图1是本申请实施例提供的一种数据库的同步方法流程示意图；
图2是本申请实施例涉及的一种基于二进制日志的数据库同应用架构图；
图3是本申请实施例涉及的源数据库到目标数据库的同步操作步骤示意图；
图4是本申请实施例提供的一种数据库的同步装置示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
请参看图1，图1是本申请实施例提供的一种数据库的同步方法流程示意图，下面结合图1对本申请实施例提供方法进行详细说明。
步骤S101，获取源数据库的二进制日志文件。
数据库的日志通常都是以二进制编码格式存储的，数据库日志记录数据库的相关操作，包括增/删/改/查，所以，通过日志就可以了解数据库都执行了什么操作，在本申请中，将MySQL数据库作为源数据库，Greenplum数据库作为目标数据库，完成源数据库向目标数据库的同步操作，本申请的操作方法也适用于其他类型的数据库。
为了完成数据库的同步操作，首先是获取源数据库的二进制日志文件，源数据库为MySQL数据库，那么就获取binlog日志。
步骤S102，配置源数据库和目标数据库，解析所述二进制日志文件，生成对应的源数据库操作指令；将所述源数据库操作指令转换为目标数据库的操作指令。
在获取了源数据库的二进制日志文件后，接下来就是配置源数据库，配置MySQL数据库的二进制日志文件的存放路径，同时读取MySQL数据库上次的同步位置，上次同步的位置也就是这次同步的开始位置，如果没有读取到上次的同步位置，那么就需要将整个数据库进行同步。然后在源数据库建立缓存区，将将源数据库的二进制日志文件转换成文件并写入缓存区，同时记录源数据库当前的同步位置。也就是日志文件的结束位置。配置完源数据库后，还需要配置目标数据库，配置目标数据库主要是建立目标数据库Greenplum与源数据库MySQL的映射。
配置完源数据库和目标数据库后，解析源数据库MySQL的二进制日志文件，在解析之前，按照MySQL二进制日志的格式将多余信息剔除，然后再根据所述binlog日志提取SQL语句，具体的，按照MySQL数据库的二进制日志的格式，提取关键的SQL语句。SQL语句就包括对数据库的增/删/改/查操作，这样提取了关键的SQL语句，但是，提取的关键SQL语句还需要根据实际需求进行加工处理，如图2中，有A银行接口模块、B银行接口模块、新银行接口模块，A银行接口模块和B银行接口模块是现有的，可以通过A银行系统或B银行系统的二进制日志提取的关键SQL语句同步新银行系统，但是，各银行的接口模块只能完成特定的功能，而且A银行系统或B银行系统一些其他的数据对新银行系统来说，也是没有用处的，例如，新银行需要获取某个用户在银行的信誉度，而在其他银行的交易记录对新银行来说是没有用处的，所以，在其他银行的交易记录就不需要同步到新银行系统，而且银行接口也是为了完成用户信誉度而开设的，所以，需要根据实际需求进行加工处理，包括舍弃不必要字段，对部分字段值做特殊处理等。
在对源数据库MySQL的SQL语句处理完成后，将处理完成后的SQL语句转换为目标数据库Greenplum的SQL语句，因为不同类型的数据库，SQL语句的写法也会有所不同，所以需要进行转换，同时，如果数据库字段中包含一些关键字段值，例如，发票代码，发票号码等，为了保证数据的安全性，需要加密所述目标数据库Greenplum的SQL语句中的关键字段值。然后，将所述目标数据库Greenplum的SQL语句转换成cmd指令。
步骤S103，执行所述目标数据库的操作指令完成数据库的同步操作。
通过前面两个步骤，通过解析源目标数据库MySQL的二进制日志文件，获得了目标数据库Greenplum的同步操作的cmd指令，接下来就是执行cmd指令，完成源数据库MySQL到目标数据库Greenplum的同步操作。
在执行同步操作的同时，将执行过程写入日志。如果有执行失败的cmd指令，那么将执行失败的cmd指令保存至错误数据存放路径，通过执行过程的日志分析执行失败的cmd指令，找出错误原因，确定是否再次进行同步。在同步操作执行完成后，备份同步数据，完成源数据库MySQL到目标数据库Greenplum的同步操作。
源数据库到目标数据库的同步操作，其主要操作步骤见图3，其中MySQL数据库和Greenplum数据库作为源数据库和目标数据库可以进行对调，但源数据库和目标数据库不仅局限于这两种数据库，然后读取binlog日志文件，根据binlog日志文件生成对应的cmd指令或是命令，接着就执行cmd指令或命令，完成对目标数据库的同步操作。
另外，图2是本申请提供的一种基于二进制日志的数据库同应用架构图，如图2所示，在原有架构的基础上，增加了数据同步模块，完成新接入数据源向新银行系统的数据同步。
本申请同时提供一种数据库的同步装置400，请参看图4，其特征在于，包括；
日志获取单元410，用于获取源数据库的二进制日志文件：
操作指令获取单元420，用于配置源数据库和目标数据库，解析所述二进制日志文件，生成对应的源数据库操作指令；将所述源数据库操作指令转换为目标数据库的操作指令；
同步单元430，用于执行所述目标数据库的操作指令完成数据库的同步操作。
本申请提供的一种数据库的同步方法，通过解析源数据库的二进制日志文件，获得数据库的操作指令，使用操作指令完成源数据库至目标数据库的同步操作，解决了不同类型的数据库之间的数据同步不需要通过编写代码或通过应用程序实现的问题。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，而这些未脱离本发明精神和范围的任何修改或者等同替换，其均在申请待批的本发明的权利要求保护范围之内。
Claims (10)
1.一种数据库的同步方法，其特征在于，包括：
获取源数据库的二进制日志文件；
配置源数据库和目标数据库，解析所述二进制日志文件，生成对应的源数据库操作指令；将所述源数据库操作指令转换为目标数据库的操作指令；
执行所述目标数据库的操作指令完成数据库的同步操作。
2.根据权利要求1所述的方法，其特征在于，所述获取源数据库的二进制日志文件，包括：
若数据库为MySQL数据库，则获取binlog日志。
3.根据权利要求1所述的方法，其特征在于，所述配置源数据库和目标数据库，包括：
配置源数据库的二进制日志文件的存放路径；
读取源数据库上次的同步位置；
在源数据库建立缓存区，将源数据库的二进制日志文件转换成文本并写入缓存区；
记录源数据库当前的同步位置；
建立目标数据库与源数据库的映射。
4.根据权利要求1所述的方法，其特征在于，所述解析所述二进制日志文件，生成对应的源数据库操作指令，将所述源数据库操作指令转换为目标数据库的操作指令，具体的包括：
若源数据库为MySQL数据库，则解析所述binlog日志；
根据所述binlog日志提取SQL语句，并将所述SQL语句转换为目标数据库SQL语句；
将所述目标数据库SQL语句转换成cmd指令。
5.根据权利要求4所述的方法，其特征在于，根据所述binlog日志提取SQL语句，包括：
按照MySQL数据库的二进制日志的格式，提取关键的SQL语句。
6.根据权利要求4所述的方法，其特征在于，在将所述目标数据库SQL语句转换成cmd指令的步骤之前，还包括：
加密所述目标数据库SQL语句中的关键字段值。
7.根据权利要求1所述的方法，其特征在于，所述执行所述目标数据库的操作指令完成数据库的同步操作，包括：
在所述目标数据库执行cmd指令，完成源数据库到目标数据库的同步操作。
8.根据权利要求1或7所述的方法，其特征在于，在执行所述目标数据库的操作指令完成数据库的同步操作的步骤之后，还包括：
将执行过程写入日志；
将执行失败的命令保存至错误数据存放路径；
备份同步的数据。
9.根据权利要求1所述的方法，其特征在于，所述源数据库和目标数据库，可以为不同类型的数据库。
10.一种数据库的同步装置，其特征在于，包括；
日志获取单元，用于获取源数据库的二进制日志文件：
操作指令获取单元，用于配置源数据库和目标数据库，解析所述二进制日志文件，生成对应的源数据库操作指令；将所述源数据库操作指令转换为目标数据库的操作指令；
同步单元，用于执行所述目标数据库的操作指令完成数据库的同步操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911406311.7A CN111241191A (zh) | 2019-12-31 | 2019-12-31 | 一种数据库的同步方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911406311.7A CN111241191A (zh) | 2019-12-31 | 2019-12-31 | 一种数据库的同步方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111241191A true CN111241191A (zh) | 2020-06-05 |
Family
ID=70874141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911406311.7A Pending CN111241191A (zh) | 2019-12-31 | 2019-12-31 | 一种数据库的同步方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241191A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112732488A (zh) * | 2021-01-11 | 2021-04-30 | 浪潮云信息技术股份公司 | 一种采用cmsp同步数据实现虚机内数据库备份的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7702698B1 (en) * | 2005-03-01 | 2010-04-20 | Yahoo! Inc. | Database replication across different database platforms |
| CN110147411A (zh) * | 2019-05-20 | 2019-08-20 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
-
2019
- 2019-12-31 CN CN201911406311.7A patent/CN111241191A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7702698B1 (en) * | 2005-03-01 | 2010-04-20 | Yahoo! Inc. | Database replication across different database platforms |
| CN110147411A (zh) * | 2019-05-20 | 2019-08-20 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112732488A (zh) * | 2021-01-11 | 2021-04-30 | 浪潮云信息技术股份公司 | 一种采用cmsp同步数据实现虚机内数据库备份的方法 |
| CN112732488B (zh) * | 2021-01-11 | 2023-02-28 | 浪潮云信息技术股份公司 | 一种采用cmsp同步数据实现虚机内数据库备份的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107247808B (zh) | 一种分布式NewSQL数据库系统及图片数据查询方法 | |
| US9135289B2 (en) | Matching transactions in multi-level records | |
| CN101719149B (zh) | 数据同步方法及装置 | |
| US8874519B1 (en) | Method and apparatus for restoring a table in a database | |
| CN111324610A (zh) | 一种数据同步的方法及装置 | |
| CN105205053A (zh) | 一种数据库增量日志解析方法及系统 | |
| CN110795287B (zh) | 数据恢复方法、系统、电子设备及计算机存储介质 | |
| CN108647357B (zh) | 数据查询的方法及装置 | |
| CN111046041B (zh) | 数据处理方法和装置、存储介质及处理器 | |
| CN109491834A (zh) | 一种应用于数据库的数据恢复方法及装置 | |
| US10083192B2 (en) | Deleted database record reuse | |
| CN112416654A (zh) | 一种数据库日志重演方法、装置、设备及存储介质 | |
| CN112231407A (zh) | PostgreSQL数据库的DDL同步方法、装置、设备和介质 | |
| CN100527131C (zh) | 一种ims数据库互动式访问方法和工具 | |
| CN111240772A (zh) | 一种基于区块链的数据处理方法、装置及存储介质 | |
| CN111241191A (zh) | 一种数据库的同步方法及装置 | |
| CN111651514A (zh) | 数据导入方法及装置 | |
| CN109902070B (zh) | 一种面向WiFi日志数据的解析存储搜索方法 | |
| CN108090034B (zh) | 基于集群的单证代码统一编码生成方法和系统 | |
| CN111125129A (zh) | 数据处理方法和装置、存储介质及处理器 | |
| CN114218278A (zh) | http接口的数据表字段查询方法及系统 | |
| US9508062B2 (en) | Problem management record profiling | |
| US8775528B2 (en) | Computer readable recording medium storing linking keyword automatically extracting program, linking keyword automatically extracting method and apparatus | |
| KR101737575B1 (ko) | 자동 생성된 sql 구문 기반의 데이터 검증 방법 및 장치 | |
| CN109697216A (zh) | 交易信息处理方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |