CN113742392A - 一种数据同步方法、装置、电子设备及存储介质 - Google Patents

一种数据同步方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113742392A
CN113742392A CN202111092985.1A CN202111092985A CN113742392A CN 113742392 A CN113742392 A CN 113742392A CN 202111092985 A CN202111092985 A CN 202111092985A CN 113742392 A CN113742392 A CN 113742392A
Authority
CN
China
Prior art keywords
mysql
data
json
log data
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111092985.1A
Other languages
English (en)
Inventor
段于胜
邓伟财
胡俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202111092985.1A priority Critical patent/CN113742392A/zh
Publication of CN113742392A publication Critical patent/CN113742392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Abstract

本申请公开了一种数据同步方法、装置、电子设备及存储介质，可应用于大数据领域或金融领域。利用伪造的MySQL从库从MySQL主库获取MySQL Binlog日志并进行解析得到Json增量日志数据，对Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据，并写入对应的Kafka Topic队列，按照预设目标数据同步规则订阅待同步Kafka Topic队列，获取其存放的Json日志数据并写入MySQL数据库或异构数据库中实现数据同步。本发明对MySQL Binlog日志进行完整解析，支持多个导出数据源，可实现横线扩展发送到不同数据库进行业务数据处理实现数据同步。

Description

一种数据同步方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理技术领域，更具体的说，涉及一种数据同步方法、装置、电子设备及存储介质。
背景技术
目前，业务系统一般用MySQL数据库存储业务数据，在对业务数据(比如交易数据)进行查询时，一般使用Redis内存数据库，在对业务数据进行检索时，一般使用ElasticSearch等NoSQL数据库。由于存储业务数据的数据库与执行查询或检索等操作的数据库为不同的数据库，因此，面临着业务数据的来源端和使用端存在多种异构数据库及同构数据库间数据不同步的问题。
因此，如何实现多种异构数据库及同构数据库间数据同步成为本领域技术人员亟需解决的技术问题。
发明内容
有鉴于此，本发明公开一种数据同步方法、装置、电子设备及存储介质，以实现多种异构数据库及同构数据库间数据同步。
一种数据同步方法，包括：
伪造一个MySQL从库，由所述MySQL从库从MySQL主库获取MySQL Binlog日志；
对所述MySQL Binlog日志进行解析得到Json增量日志数据；
对所述Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据；
将所述Json日志数据写入对应的Kafka Topic队列；
按照预设目标数据同步规则订阅待同步Kafka Topic队列；
获取所述待同步Kafka Topic队列存放的Json日志数据作为目标Json日志数据；
将所述目标Json日志数据写入MySQL数据库或异构数据库中，实现数据同步。
可选的，所述伪造一个MySQL从库，由所述MySQL从库从MySQL主库获取MySQLBinlog日志，具体包括：
伪造一个所述MySQL从库；
根据待解析的MySQL Binlog位置确定与所述MySQL从库待建立连接的所述MySQL主库；
将所述MySQL从库和所述MySQL主库建立连接；
通过所述MySQL从库向所述MySQL主库发送Binlog dump指令；
获取所述MySQL主库响应所述Binlog dump指令返回的所述MySQL Binlog日志。
可选的，所述对所述MySQL Binlog日志进行解析得到Json增量日志数据，具体包括：
对所述MySQL Binlog日志采用MySQL Binlog协议进行解析，得到所述Json增量日志数据。
可选的，所述预设来源数据抽取规则至少包含来源表名和字段列表定义。
可选的，所述对所述Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据，具体包括：
对所述Json增量日志数据按照所述预设来源数据抽取规则进行过滤，得到初始Json日志数据；
对各个所述初始Json日志数据按照来源表名进行归并，得到所述Json日志数据。
可选的，所述Kafka Topic队列中的Topic以{来源数据库_表名}命名。
一种数据同步装置，包括：
第一获取单元，用于伪造一个MySQL从库，由所述MySQL从库从MySQL主库获取MySQL Binlog日志；
解析单元，用于对所述MySQL Binlog日志进行解析得到Json增量日志数据；
数据处理单元，用于对所述Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据；
第一数据写入单元，用于将所述Json日志数据写入对应的Kafka Topic队列；
订阅单元，用于按照预设目标数据同步规则订阅待同步Kafka Topic队列；
第二获取单元，用于获取所述待同步Kafka Topic队列存放的Json日志数据作为目标Json日志数据；
第二数据写入单元，用于将所述目标Json日志数据写入MySQL数据库或异构数据库中，实现数据同步。
可选的，所述第一获取单元具体包括：
伪造子单元，用于伪造一个所述MySQL从库；
确定子单元，用于根据待解析的MySQL Binlog位置确定与所述MySQL从库待建立连接的所述MySQL主库；
连接建立子单元，用于将所述MySQL从库和所述MySQL主库建立连接；
发送子单元，用于通过所述MySQL从库向所述MySQL主库发送Binlog dump指令；
获取子单元，用于获取所述MySQL主库响应所述Binlog dump指令返回的所述MySQL Binlog日志。
可选的，所述解析单元具体用于：
对所述MySQL Binlog日志采用MySQL Binlog协议进行解析，得到所述Json增量日志数据。
可选的，所述数据处理单元具体用于：
对所述Json增量日志数据按照所述预设来源数据抽取规则进行过滤，得到初始Json日志数据；
对各个所述初始Json日志数据按照来源表名进行归并，得到所述Json日志数据。
一种电子设备，所述电子设备包括存储器和处理器；
所述存储器用于存储至少一个指令；
所述处理器用于执行所述至少一个指令以实现上述所述的数据同步方法。
一种计算机可读存储介质，所述计算机可读存储介质存储至少一个指令，所述至少一个指令被处理器执行时实现上述所述的数据同步方法。
从上述的技术方案可知，本发明公开了一种数据同步方法、装置、电子设备及存储介质，利用伪造的MySQL从库从MySQL主库获取MySQL Binlog日志，对MySQL Binlog日志进行解析得到Json增量日志数据，对Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据，并写入对应的Kafka Topic队列，按照预设目标数据同步规则订阅待同步Kafka Topic队列，获取待同步Kafka Topic队列存放的Json日志数据并写入MySQL数据库(即同构数据库)或MySQL数据库的异构数据库中，实现数据同步。由此可见，本发明能够对MySQL Binlog日志进行完整解析，支持多个导出数据源，可以实现横线扩展发送到不同数据库进行业务数据处理，整个数据同步过程，无需修改业务系统程序，通过配置化方式即可实现同构数据库及异构数据库间的数据同步，易于实施，便于广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。
图1为本发明实施例公开的一种数据同步方法流程图；
图2为本发明实施例公开的一种伪造一个MySQL从库，由MySQL从库从MySQL主库获取MySQL Binlog日志的方法流程图；
图3为本发明实施例公开的一种数据同步装置的结构示意图；
图4为本发明实施例公开的一种第一获取单元的结构示意图。
具体实施方式
需要说明的是，本发明提供的一种数据同步方法、装置、电子设备及存储介质可用于大数据领域或金融领域。上述仅为示例，并不对本发明提供的一种数据同步方法、装置、电子设备及存储介质的应用领域进行限定。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种数据同步方法、装置、电子设备及存储介质，利用伪造的MySQL从库从MySQL主库获取MySQL Binlog日志，对MySQL Binlog日志进行解析得到Json增量日志数据，对Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据，并写入对应的Kafka Topic队列，按照预设目标数据同步规则订阅待同步KafkaTopic队列，获取待同步Kafka Topic队列存放的Json日志数据并写入MySQL数据库或MySQL数据库的异构数据库中，实现数据同步。由此可见，本发明能够对MySQL Binlog日志进行完整解析，支持多个导出数据源，可以实现横线扩展发送到不同数据库进行业务数据处理，整个数据同步过程，无需修改业务系统程序，通过配置化方式即可实现同构数据库及异构数据库间的数据同步，易于实施，便于广泛推广。
参见图1，本发明实施例公开的一种数据同步方法流程图，该方法包括：
步骤S101、伪造一个MySQL从库，由所述MySQL从库从MySQL主库获取MySQL Binlog日志；
在实际应用中，数据分发中心可以伪造一个MySQL从库(slave)，MySQL从库可以模拟slave协议和MySQL主库进行交互。
数据分发中心可以在多台服务器上部署。
步骤S102、对所述MySQL Binlog日志进行解析得到Json增量日志数据；
在实际应用中，可以对MySQL Binlog日志采用MySQL Binlog协议进行解析，得到Json增量日志数据。
其中，Json内容如下：
{
{"database":"db1","table":"a1","type":"insert","ts":18777879,"commit":true,"data":{"id":1,"name":"zhangsan","age":18,"address":"hsf.bj"}},
{"database":"db1","table":"a1","type":"update","ts":18777879,"commit":true,"data":{"id":1,"age":17}}
}
步骤S103、对所述Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据；
其中，预设来源数据抽取规则至少包含来源表名和字段列表定义，预设来源数据抽取规则还可以包括通配符。
针对预设来源数据抽取规则，举例如下：
Figure BDA0003268033510000061
步骤S104、将所述Json日志数据写入对应的Kafka Topic队列；
其中，将Json日志数据写入对应的Kafka Topic队列的目的是供数据同步模块使用。
本实施例中，Kafka Topic队列中的Topic以{来源数据库_表名}命名。
步骤S105、按照预设目标数据同步规则订阅待同步Kafka Topic队列；
本实施例中，预设目标数据同步规则用于对待同步Kafka Topic队列进行相关配置。
预设目标数据同步规则中包含订阅Topic名。
针对预设目标数据同步规则，举例如下：
Figure BDA0003268033510000071
步骤S106、获取所述待同步Kafka Topic队列存放的Json日志数据作为目标Json日志数据；
步骤S107、将所述目标Json日志数据写入MySQL数据库或异构数据库中，实现数据同步。
其中，MySQL数据库的异构数据库包括但不限于Redis数据库和ES数据库。
综上可知，本发明公开了一种数据同步方法，利用伪造的MySQL从库从MySQL主库获取MySQL Binlog日志，对MySQL Binlog日志进行解析得到Json增量日志数据，对Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据，并写入对应的Kafka Topic队列，按照预设目标数据同步规则订阅待同步Kafka Topic队列，获取待同步Kafka Topic队列存放的Json日志数据并写入MySQL数据库或异构数据库中，实现数据同步。由此可见，本发明能够对MySQL Binlog日志进行完整解析，支持多个导出数据源，可以实现横线扩展发送到不同数据库进行业务数据处理，整个数据同步过程，无需修改业务系统程序，通过配置化方式即可实现同构数据库及异构数据库间的数据同步，易于实施，便于广泛推广。
为进一步优化上述实施例，参见图2，本发明实施例公开的一种伪造一个MySQL从库，由MySQL从库从MySQL主库获取MySQL Binlog日志的方法流程图，该方法包括：
步骤S201、伪造一个MySQL从库；
步骤S202、根据待解析的MySQL Binlog位置确定与所述MySQL从库待建立连接的所述MySQL主库；
其中，待解析的MySQL Binlog位置在数据分发中心处于初始状态时设置。
步骤S203、将MySQL从库和MySQL主库建立连接；
MySQL从库通过向MySQL主库发送连接请求与MySQL主库建立连接。
步骤S204、通过MySQL从库向MySQL主库发送Binlog dump指令；
当MySQL从库和MySQL主库建立连接后，MySQL从库就可以向MySQL主库发送Binlogdump指令，该Binlog dump指令中可以携带MySQL从库的相关信息，比如，MySQL从库的唯一标识。
步骤S205、获取MySQL主库响应Binlog dump指令返回的MySQL Binlog日志。
当MySQL主库接收到MySQL从库发送的Binlog dump指令后，MySQL主库就会将与Binlog dump指令对应的MySQL Binlog日志返回至MySQL从库。
为进一步优化上述实施例，步骤S103具体可以包括：
对Json增量日志数据按照所述预设来源数据抽取规则进行过滤，得到初始Json日志数据；
对各个初始Json日志数据按照来源表名进行归并，得到Json日志数据。
与上述方法实施例相对应，本发明还公开了一种数据同步装置。
参见图3，本发明实施例公开的一种数据同步装置的结构示意图，该装置包括：
第一获取单元301，用于伪造一个MySQL从库，由所述MySQL从库从MySQL主库获取MySQL Binlog日志；
在实际应用中，数据分发中心可以伪造一个MySQL从库(slave)，MySQL从库可以模拟slave协议和MySQL主库进行交互。
数据分发中心可以在多台服务器上部署。
解析单元302，用于对所述MySQL Binlog日志进行解析得到Json增量日志数据；
在实际应用中，可以对MySQL Binlog日志采用MySQL Binlog协议进行解析，得到Json增量日志数据。
其中，Json内容如下：
{
{"database":"db1","table":"a1","type":"insert","ts":18777879,"commit":true,"data":{"id":1,"name":"zhangsan","age":18,"address":"hsf.bj"}},
{"database":"db1","table":"a1","type":"update","ts":18777879,"commit":true,"data":{"id":1,"age":17}}
}
数据处理单元303，用于对所述Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据；
其中，预设来源数据抽取规则至少包含来源表名和字段列表定义，预设来源数据抽取规则还可以包括通配符。
针对预设来源数据抽取规则，举例如下：
Figure BDA0003268033510000091
Figure BDA0003268033510000101
第一数据写入单元304，用于将所述Json日志数据写入对应的Kafka Topic队列；
其中，将Json日志数据写入对应的Kafka Topic队列的目的是供数据同步模块使用。
本实施例中，Kafka Topic队列中的Topic以{来源数据库_表名}命名。
订阅单元305，用于按照预设目标数据同步规则订阅待同步Kafka Topic队列；
本实施例中，预设目标数据同步规则用于对待同步Kafka Topic队列进行相关配置。
预设目标数据同步规则中包含订阅Topic名。
针对预设目标数据同步规则，举例如下：
Figure BDA0003268033510000102
Figure BDA0003268033510000111
第二获取单元306，用于获取所述待同步Kafka Topic队列存放的Json日志数据作为目标Json日志数据；
第二数据写入单元307，用于将所述目标Json日志数据写入MySQL数据库或异构数据库中，实现数据同步。
其中，MySQL数据库的异构数据库包括但不限于Redis数据库和ES数据库。
综上可知，本发明公开了一种数据同步装置，利用伪造的MySQL从库从MySQL主库获取MySQL Binlog日志，对MySQL Binlog日志进行解析得到Json增量日志数据，对Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据，并写入对应的Kafka Topic队列，按照预设目标数据同步规则订阅待同步Kafka Topic队列，获取待同步Kafka Topic队列存放的Json日志数据并写入MySQL数据库或异构数据库中，实现数据同步。由此可见，本发明能够对MySQL Binlog日志进行完整解析，支持多个导出数据源，可以实现横线扩展发送到不同数据库进行业务数据处理，整个数据同步过程，无需修改业务系统程序，通过配置化方式即可实现同构数据库及异构数据库间的数据同步，易于实施，便于广泛推广。
为进一步优化上述实施例，参见图4，本发明实施例公开的一种第一获取单元的结构示意图，第一获取单元包括：
伪造子单元401，用于伪造一个所述MySQL从库；
确定子单元402，用于根据待解析的MySQL Binlog位置确定与所述MySQL从库待建立连接的所述MySQL主库；
其中，待解析的MySQL Binlog位置在数据分发中心处于初始状态时设置。
连接建立子单元403，用于将所述MySQL从库和所述MySQL主库建立连接；
MySQL从库通过向MySQL主库发送连接请求与MySQL主库建立连接。
发送子单元404，用于通过所述MySQL从库向所述MySQL主库发送Binlog dump指令；
当MySQL从库和MySQL主库建立连接后，MySQL从库就可以向MySQL主库发送Binlogdump指令，该Binlog dump指令中可以携带MySQL从库的相关信息，比如，MySQL从库的唯一标识。
获取子单元405，用于获取所述MySQL主库响应所述Binlog dump指令返回的所述MySQL Binlog日志。
当MySQL主库接收到MySQL从库发送的Binlog dump指令后，MySQL主库就会将与Binlog dump指令对应的MySQL Binlog日志返回至MySQL从库。
为进一步优化上述实施例，解析单元302具体用于：
对所述MySQL Binlog日志采用MySQL Binlog协议进行解析，得到所述Json增量日志数据。
为进一步优化上述实施例，数据处理单元303具体用于：
对所述Json增量日志数据按照所述预设来源数据抽取规则进行过滤，得到初始Json日志数据；
对各个所述初始Json日志数据按照来源表名进行归并，得到所述Json日志数据。
本发明还公开了一种电子设备，所述电子设备包括存储器和处理器；
所述存储器用于存储至少一个指令；
所述处理器用于执行所述至少一个指令以实现上述所述的数据同步方法。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储至少一个指令，所述至少一个指令被处理器执行时实现上述所述的数据同步方法。
其中，电子设备和存储介质实现数据同步的过程可参见方法实施例对应部分，此处不再赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种数据同步方法，其特征在于，包括：
伪造一个MySQL从库，由所述MySQL从库从MySQL主库获取MySQL Binlog日志；
对所述MySQL Binlog日志进行解析得到Json增量日志数据；
对所述Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据；
将所述Json日志数据写入对应的Kafka Topic队列；
按照预设目标数据同步规则订阅待同步Kafka Topic队列；
获取所述待同步Kafka Topic队列存放的Json日志数据作为目标Json日志数据；
将所述目标Json日志数据写入MySQL数据库或异构数据库中，实现数据同步。
2.根据权利要求1所述的数据同步方法，其特征在于，所述伪造一个MySQL从库，由所述MySQL从库从MySQL主库获取MySQL Binlog日志，具体包括：
伪造一个所述MySQL从库；
根据待解析的MySQL Binlog位置确定与所述MySQL从库待建立连接的所述MySQL主库；
将所述MySQL从库和所述MySQL主库建立连接；
通过所述MySQL从库向所述MySQL主库发送Binlog dump指令；
获取所述MySQL主库响应所述Binlog dump指令返回的所述MySQL Binlog日志。
3.根据权利要求1所述的数据同步方法，其特征在于，所述对所述MySQL Binlog日志进行解析得到Json增量日志数据，具体包括：
对所述MySQL Binlog日志采用MySQL Binlog协议进行解析，得到所述Json增量日志数据。
4.根据权利要求1所述的数据同步方法，其特征在于，所述预设来源数据抽取规则至少包含来源表名和字段列表定义。
5.根据权利要求1所述的数据同步方法，其特征在于，所述对所述Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据，具体包括：
对所述Json增量日志数据按照所述预设来源数据抽取规则进行过滤，得到初始Json日志数据；
对各个所述初始Json日志数据按照来源表名进行归并，得到所述Json日志数据。
6.根据权利要求1所述的数据同步方法，其特征在于，所述Kafka Topic队列中的Topic以{来源数据库_表名}命名。
7.一种数据同步装置，其特征在于，包括：
第一获取单元，用于伪造一个MySQL从库，由所述MySQL从库从MySQL主库获取MySQLBinlog日志；
解析单元，用于对所述MySQL Binlog日志进行解析得到Json增量日志数据；
数据处理单元，用于对所述Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据；
第一数据写入单元，用于将所述Json日志数据写入对应的Kafka Topic队列；
订阅单元，用于按照预设目标数据同步规则订阅待同步Kafka Topic队列；
第二获取单元，用于获取所述待同步Kafka Topic队列存放的Json日志数据作为目标Json日志数据；
第二数据写入单元，用于将所述目标Json日志数据写入MySQL数据库或异构数据库中，实现数据同步。
8.根据权利要求7所述的数据同步装置，其特征在于，所述第一获取单元具体包括：
伪造子单元，用于伪造一个所述MySQL从库；
确定子单元，用于根据待解析的MySQL Binlog位置确定与所述MySQL从库待建立连接的所述MySQL主库；
连接建立子单元，用于将所述MySQL从库和所述MySQL主库建立连接；
发送子单元，用于通过所述MySQL从库向所述MySQL主库发送Binlog dump指令；
获取子单元，用于获取所述MySQL主库响应所述Binlog dump指令返回的所述MySQLBinlog日志。
9.根据权利要求7所述的数据同步装置，其特征在于，所述解析单元具体用于：
对所述MySQL Binlog日志采用MySQL Binlog协议进行解析，得到所述Json增量日志数据。
10.根据权利要求7所述的数据同步装置，其特征在于，所述数据处理单元具体用于：
对所述Json增量日志数据按照所述预设来源数据抽取规则进行过滤，得到初始Json日志数据；
对各个所述初始Json日志数据按照来源表名进行归并，得到所述Json日志数据。
11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；
所述存储器用于存储至少一个指令；
所述处理器用于执行所述至少一个指令以实现如权利要求1～6任意一项所述的数据同步方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1～6任意一项所述的数据同步方法。
CN202111092985.1A 2021-09-17 2021-09-17 一种数据同步方法、装置、电子设备及存储介质 Pending CN113742392A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111092985.1A CN113742392A (zh) 2021-09-17 2021-09-17 一种数据同步方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111092985.1A CN113742392A (zh) 2021-09-17 2021-09-17 一种数据同步方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113742392A true CN113742392A (zh) 2021-12-03

Family

ID=78739617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111092985.1A Pending CN113742392A (zh) 2021-09-17 2021-09-17 一种数据同步方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113742392A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547199A (zh) * 2022-02-23 2022-05-27 阿维塔科技(重庆)有限公司 数据库增量同步响应方法、装置及计算机可读存储介质
CN115203336A (zh) * 2022-09-19 2022-10-18 平安银行股份有限公司 数据库数据实时同步方法、系统、计算机终端及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547199A (zh) * 2022-02-23 2022-05-27 阿维塔科技(重庆)有限公司 数据库增量同步响应方法、装置及计算机可读存储介质
CN115203336A (zh) * 2022-09-19 2022-10-18 平安银行股份有限公司 数据库数据实时同步方法、系统、计算机终端及存储介质

Similar Documents

Publication Publication Date Title
CN100596353C (zh) 提供日志服务的方法及系统
CN109299073B (zh) 一种数据血缘的生成方法、系统、电子设备和存储介质
US9805053B1 (en) Pluggable storage system for parallel query engines
US11520772B2 (en) Tracking change data in a database
CN111506559B (zh) 数据存储方法、装置、电子设备及存储介质
CN111400408A (zh) 数据同步方法、装置、设备及存储介质
CN109299157B (zh) 一种分布式大单表的数据导出方法及装置
CN113742392A (zh) 一种数据同步方法、装置、电子设备及存储介质
CN110134648A (zh) 日志处理方法、装置、设备、系统及计算机可读存储介质
CN111881223B (zh) 数据管理方法、设备、系统及存储介质
CN111339171B (zh) 数据查询的方法、装置及设备
WO2014110940A1 (en) A method, apparatus and system for storing, reading the directory index
CN112214505A (zh) 数据同步方法、装置、计算机可读存储介质及电子设备
CN113177090A (zh) 数据处理方法及装置
CN110969000B (zh) 数据合并的处理方法及装置
CN111125226B (zh) 一种配置数据采集方法及装置
US11531706B2 (en) Graph search using index vertices
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN106649584A (zh) 一种主从式数据库系统中的索引处理方法和装置
US9092338B1 (en) Multi-level caching event lookup
CN110008243A (zh) 一种数据表处理方法及装置
CN108984720B (zh) 基于列存储的数据查询方法、装置、服务器及存储介质
CN111651479A (zh) 一种物品评估方法、装置及其相关设备
CN101576897A (zh) 文件内容检索系统及方法
CN104636190A (zh) 软件系统及插件间消息传递方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination