CN110879813A - 一种基于二进制日志解析的MySQL数据库增量同步实现方法 - Google Patents
一种基于二进制日志解析的MySQL数据库增量同步实现方法 Download PDFInfo
- Publication number
- CN110879813A CN110879813A CN201911138975.XA CN201911138975A CN110879813A CN 110879813 A CN110879813 A CN 110879813A CN 201911138975 A CN201911138975 A CN 201911138975A CN 110879813 A CN110879813 A CN 110879813A
- Authority
- CN
- China
- Prior art keywords
- log
- data
- mysql database
- name
- binary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004458 analytical method Methods 0.000 title claims abstract description 27
- 238000012217 deletion Methods 0.000 claims abstract description 23
- 230000037430 deletion Effects 0.000 claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 230000006835 compression Effects 0.000 claims abstract description 8
- 238000007906 compression Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims description 56
- 238000003780 insertion Methods 0.000 claims description 8
- 230000037431 insertion Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于二进制日志解析的MySQL数据库增量同步实现方法，属于数据库数据采集技术领域。本发明的基于二进制日志解析的MySQL数据库增量同步实现方法，该方法通过读取、解析MySQL的二进制日志文件，获取、恢复MySQL数据库源库的增量数据，将解析后的增量数据以字符串形式暂存到CMSP消息队列中，借助CMSP的加密压缩传输，解析入库端的CMSP传输的加密压缩传输的消息队列，实现MySQL数据库从源库到MySQL数据库目标库的数据同步。该发明的基于二进制日志解析的MySQL数据库增量同步实现方法高效安全，能够实现数据库有无主键的数据增删改增量同步，具有很好的推广应用价值。
Description
技术领域
本发明涉及数据库数据采集技术领域，具体提供一种基于二进制日志解析的MySQL数据库增量同步实现方法。
背景技术
随着信息时代的飞速发展，大数据、人工智能的兴起，数据作为一种资源，越来越被一些企业、单位重视，数据产出的经济和社会价值也越来越明显。当今社会，企业数据越来越庞大、复杂，呈现数据量巨大、数据种类繁多包括结构化数据和非结构化数据、数据存放单一等特点，这势必给数据带来安全和不可靠的隐患，因此数据的同步和备份显得越来越重要。
MySQL数据库常用的同步方式有以下几种：
1)触发器方式
触发器方式是较为普遍存在的一种同步方式，SQL触发器是存储在数据库目录中的一组SQL语句，该方式根据抽取的要求在源表建立插入、更新、删除三种触发器，每当源表发生变化时，就会由相应的触发器将变化数据写入到增量日志表。
该方法对更新、删除操作时，需要支持原表中存在主键字段，否则无法实现对应记录的更新、删除操作。
2)时间戳方式
时间戳方式是指增量抽取时，抽取进程通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。
有的数据库(例如Sql Server)的时间戳支持自动更新，即表的其它字段的数据发生改变时，时间戳字段的值会被自动更新为记录改变的时刻。在这种情下，进行ETL实施时就只需要在源表加上时间戳字段就可以了。
对于不支持时间戳自动更新的数据库，这就要求业务系统在更新业务数据时，通过编程的方式手工更新时间戳字段。使用时间戳方式可以正常捕获源表的插入操作，但对于更新、删除操作则无能为力，需要结合其它机制才能完成。
3)全表删除插入方式
全表删除插入方式是指每次抽取前先删除目标表数据，抽取时全新加载数据。该方式实际上将增量抽取等同于全量抽取。对于数据量不大，全量抽取的时间代价小于执行增量抽取的算法和条件代价时，可以采用该方式。
但是上述各方式均存在一定的缺点：触发器方式需要业务表建立触发器，对业务存在一定的影响，同时对于没有主键的表不能实现更新、删除操作。时间戳方式业务表需要存在标识新旧数据的时间戳字段、只能进行插入操作。全表删除插入方式，高网络负载、性能代价高、无法反映数据的历史状态。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种高效安全，能够实现数据库有无主键的数据增删改增量同步的基于二进制日志解析的MySQL数据库增量同步实现方法。
为实现上述目的，本发明提供了如下技术方案：
一种基于二进制日志解析的MySQL数据库增量同步实现方法，该方法通过读取、解析MySQL的二进制日志文件，获取、恢复MySQL数据库源库的增量数据，将解析后的增量数据以字符串形式暂存到CMSP消息队列中，借助CMSP的加密压缩传输，解析入库端的CMSP传输的加密压缩传输的消息队列，实现MySQL数据库从源库到MySQL数据库目标库的数据同步。
作为优选，MySQL的二进制日志文件以事件形式记录对数据库表的操作，并为每个已提交的事件类型分配唯一的日志名log_name和日志位置log_pos，日志位置log_pos作为对数据库进行新增、更新、删除增量操作的解析的标记点；
当增量采集开始时记录一个起始的增量点即日志名log_name和日志位置log_pos，以该增量点为起点进行数据事件类型的解析，当解析表为配置表，同时存在新增、更新、删除事件时，对事件内容进行按行解析，查询增量结束时会记录一个结束的日志名log_name和日志位置log_pos；
下次查询增量时，用上一次结束的日志名log_name和日志位置log_pos作为起始日志名log_name和日志位置log_pos继续进行新增、更新、删除增量操作的解析。
作为优选，在MySQL数据库中执行新增操作时，首先创建一张测试表，测试表中元素数据类型为一个整型和一个可变长度的字符串，在该测试表中插入数据；查看创建测试表结构和插入数据时二进制日志文件中的日志名log_name和日志位置log_pos的变化；解析二进制日志文件在创建测试表结构和插入数据时的记录。
作为优选，在MySQL数据库中执行新增操作时，二进制日志文件中以Qurey事件类型记录创建测试表结构和查询操作，执行插入数据时，二进制日志文件在新增事件中记录插入的数据值，每一个事件类型对应唯一的日志名log_name和日志位置log_pos。
作为优选，对于MySQL数据库中执行新增操作时，读取二进制日志文件唯一的日志位置log_pos解析新增事件中对应的每个字段的新增数据，并将解析的新增数据以字符串形式存储到CMSP消息队列中，实现对插入的新增数据的采集和存储，通过CMSP的加密传输及入库组件的解析，将插入的增量数据转存到目标库，实现MySQL数据库从源库到目标库的新增数据同步。
作为优选，在MySQL数据库中执行更新操作时，首先创建一张测试表，测试表中元素数据类型为一个整型和一个可变长度的字符串，对该测试表中数据做修改；查看创建测试表结构和修改数据时二进制日志文件中的日志名log_name和日志位置log_pos的变化；查看二进制日志文件在创建测试表结构和修改数据时的记录。
作为优选，在MySQL数据库中执行更新操作时，二进制日志文件在事件中记录更新数据所在的数据库名和数据库表名，同时在更新事件中记录更新列数和数据值，每一个事件类型对应唯一的日志名log_name和日志位置log_pos。
作为优选，对于MySQL数据库中执行更新操作时，通过唯一的日志位置log_pos为起点读取二进制日志文件，解析更新事件的内容，并将解析出的数据值以字符串的形式存储到CMSP的消息队列中，实现对MySQL数据库更新数据的采集和存储，经过CMSP的加密传输和入库组件的解析，将更新数据转存的目标库，实现MySQL数据库从源库到目标库的更新同步。
作为优选，在MySQL数据库中执行删除操作时，首先创建一张测试表，测试表中元素数据类型为一个整型和一个可变长度的字符串，对该测试表中数据做删除操作；查看创建测试表结构和删除数据时二进制日志文件中的日志名log_name和日志位置log_pos的变化；查看二进制日志文件在创建测试表结构和删除数据时的记录；执行删除数据操作时，二进制日志文件在删除事件中记录删除的数据列，每一个事件类型对应唯一的日志名log_name和日志位置log_pos。
作为优选，对于MySQL数据库中执行删除操作时，通过唯一的日志位置log_pos为起点读取二进制日志文件内容，解析删除事件的内容，并将删除数据信息以字符串的形式存储到CMSP的消息队列中，实现对MySQL数据库的删除增量数据的采集和存储，通过CMSP的加密压缩传输及入库组件的解析，将删除数据转存到目标库，实现MySQL数据库从源库到目标库的删除同步。
与现有技术相比，本发明的基于二进制日志解析的MySQL数据库增量同步实现方法具有以下突出的有益效果：
附图说明
图1是本发明所述基于二进制日志解析的MySQL数据库增量同步实现方法的流程图。
具体实施方式
下面将结合附图和实施例，对本发明的基于二进制日志解析的MySQL数据库增量同步实现方法作进一步详细说明。
实施例
如图1所示，本发明的基于二进制日志解析的MySQL数据库增量同步实现方法，通过读取、解析MySQL的二进制日志文件，获取、恢复MySQL数据库源库的增量数据，将解析后的增量数据以字符串形式暂存到CMSP消息队列中，借助CMSP的加密压缩传输，解析入库端的CMSP传输的加密压缩传输的消息队列，实现MySQL数据库从源库到MySQL数据库目标库的数据同步。
本发明的基于二进制日志解析的MySQL数据库增量同步实现方法的实现首先安装MySQL数据采集模块和MySQL入库模块。
MySQL的二进制日志文件以事件形式记录对数据库表的操作，并为每个已提交的事件类型分配唯一的日志名log_name和日志位置log_pos，日志位置log_pos作为对数据库进行新增、更新、删除增量操作的解析的标记点。
当增量采集开始时记录一个起始的增量点即日志名log_name和日志位置log_pos，以该增量点为起点进行数据事件类型的解析，当解析表为配置表，同时存在新增、更新、删除事件时，对事件内容进行按行解析，查询增量结束时会记录一个结束的日志名log_name和日志位置log_pos。
下次查询增量时，用上一次结束的日志名log_name和日志位置log_pos作为起始日志名log_name和日志位置log_pos继续进行新增、更新、删除增量操作的解析。
本发明中以MySQL数据库的新增、更新、删除增量操作的解析为例，对增量数据解析过程进行说明。
(一)在MySQL数据库中执行新增操作时，首先创建一张测试表，测试表中元素数据类型为一个整型和一个可变长度的字符串，create table test_1(t1 int(11)not null，t2 varchar(255)null，PRIMARY KEY(t1))。
在该测试表中插入数据：INSERT INTO test_1(t1,t2)VALUES(1,'测试表1')。
查看创建测试表结构和插入数据时二进制日志文件中的日志名log_name和日志位置log_pos的变化；解析二进制日志文件在创建测试表结构和插入数据时的记录。
MySQL数据库中执行新增操作时，二进制日志文件中以Qurey事件类型记录创建测试表结构和查询操作，执行插入数据时，二进制日志文件在新增事件中记录插入的数据值，每一个事件类型对应唯一的日志名log_name和日志位置log_pos。如表1所示，为MySQL数据库进行新增数据操作时，二进制日志文件的基本信息：
表1
如表2所示，为MySQL数据库进行新增数据操作时，采集增量数据的具体解析：
表2
具体过程为读取二进制日志文件唯一的日志位置log_pos解析新增事件中对应的每个字段的新增数据，并将解析的新增数据以字符串形式存储到CMSP消息队列中，实现对插入的新增数据的采集和存储，通过CMSP的加密传输及入库组件的解析，将插入的增量数据转存到目标库，实现MySQL数据库从源库到目标库的新增数据同步。
(二)在MySQL数据库中执行更新操作时，首先创建一张测试表，测试表中元素数据类型为一个整型和一个可变长度的字符串。create table test_1(t1 int(11)not null，t2 varchar(255)null，PRIMARY KEY(t1))。
对该测试表中数据做修改。update test_1set t2＝'测试表2'。
查看创建测试表结构和修改数据时二进制日志文件中的日志名log_name和日志位置log_pos的变化；解析二进制日志文件在创建测试表结构和修改数据时的记录。
在MySQL数据库中执行更新操作时，二进制日志文件在事件中记录更新数据所在的数据库名和数据库表名，同时在更新事件中记录更新列数和数据值，每一个事件类型对应唯一的日志名log_name和日志位置log_pos。
如表3所示，为MySQL数据库进行更新数据操作时，采集增量数据的具体解析：
表3
具体过程为，通过唯一的日志位置log_pos为起点读取二进制日志文件，解析更新事件的内容，并将解析出的数据值以字符串的形式存储到CMSP的消息队列中，实现对MySQL数据库更新数据的采集和存储，经过CMSP的加密传输和入库组件的解析，将更新数据转存的目标库，实现MySQL数据库从源库到目标库的更新同步。
(三)在MySQL数据库中执行删除操作时，首先创建一张测试表，测试表中元素数据类型为一个整型和一个可变长度的字符串。create table test_1(t1 int(11)not null，t2 varchar(255)null，PRIMARY KEY(t1))。
对该测试表中数据做删除操作。delete from test_1where t1＝1。
查看创建测试表结构和删除数据时二进制日志文件中的日志名log_name和日志位置log_pos的变化；解析二进制日志文件在创建测试表结构和删除数据时的记录；执行删除数据操作时，二进制日志文件在删除事件中记录删除的数据列，每一个事件类型对应唯一的日志名log_name和日志位置log_pos。
如表4所示，为MySQL数据库进行删除数据操作时，采集增量数据的具体解析：
表4
具体过程为，通过唯一的日志位置log_pos为起点读取二进制日志文件内容，解析删除事件的内容，并将删除数据信息以字符串的形式存储到CMSP的消息队列中，实现对MySQL数据库的删除增量数据的采集和存储，通过CMSP的加密压缩传输及入库组件的解析，将删除数据转存到目标库，实现MySQL数据库从源库到目标库的删除同步。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (10)
1.一种基于二进制日志解析的MySQL数据库增量同步实现方法，其特征在于：该方法通过读取、解析MySQL的二进制日志文件，获取、恢复MySQL数据库源库的增量数据，将解析后的增量数据以字符串形式暂存到CMSP消息队列中，借助CMSP的加密压缩传输，解析入库端的CMSP传输的加密压缩传输的消息队列，实现MySQL数据库从源库到MySQL数据库目标库的数据同步。
2.根据权利要求1所述的基于二进制日志解析的MySQL数据库增量同步实现方法，其特征在于：MySQL的二进制日志文件以事件形式记录对数据库表的操作，并为每个已提交的事件类型分配唯一的日志名log_name和日志位置log_pos，日志位置log_pos作为对数据库进行新增、更新、删除增量操作的解析的标记点；
当增量采集开始时记录一个起始的增量点即日志名log_name和日志位置log_pos，以该增量点为起点进行数据事件类型的解析，当解析表为配置表，同时存在新增、更新、删除事件时，对事件内容进行按行解析，查询增量结束时会记录一个结束的日志名log_name和日志位置log_pos；
下次查询增量时，用上一次结束的日志名log_name和日志位置log_pos作为起始日志名log_name和日志位置log_pos继续进行新增、更新、删除增量操作的解析。
3.根据权利要求2所述的基于二进制日志解析的MySQL数据库增量同步实现方法，其特征在于：在MySQL数据库中执行新增操作时，首先创建一张测试表，测试表中元素数据类型为一个整型和一个可变长度的字符串，在该测试表中插入数据；查看创建测试表结构和插入数据时二进制日志文件中的日志名log_name和日志位置log_pos的变化；解析二进制日志文件在创建测试表结构和插入数据时的记录。
4.根据权利要求3所述的基于二进制日志解析的MySQL数据库增量同步实现方法，其特征在于：在MySQL数据库中执行新增操作时，二进制日志文件中以Qurey事件类型记录创建测试表结构和查询操作，执行插入数据时，二进制日志文件在新增事件中记录插入的数据值，每一个事件类型对应唯一的日志名log_name和日志位置log_pos。
5.根据权利要求4所述的基于二进制日志解析的MySQL数据库增量同步实现方法，其特征在于：对于MySQL数据库中执行新增操作时，读取二进制日志文件唯一的日志位置log_pos解析新增事件中对应的每个字段的新增数据，并将解析的新增数据以字符串形式存储到CMSP消息队列中，实现对插入的新增数据的采集和存储，通过CMSP的加密传输及入库组件的解析，将插入的增量数据转存到目标库，实现MySQL数据库从源库到目标库的新增数据同步。
6.根据权利要求5所述的基于二进制日志解析的MySQL数据库增量同步实现方法，其特征在于：在MySQL数据库中执行更新操作时，首先创建一张测试表，测试表中元素数据类型为一个整型和一个可变长度的字符串，对该测试表中数据做修改；查看创建测试表结构和修改数据时二进制日志文件中的日志名log_name和日志位置log_pos的变化；查看二进制日志文件在创建测试表结构和修改数据时的记录。
7.根据权利要求6所述的基于二进制日志解析的MySQL数据库增量同步实现方法，其特征在于：在MySQL数据库中执行更新操作时，二进制日志文件在事件中记录更新数据所在的数据库名和数据库表名，同时在更新事件中记录更新列数和数据值，每一个事件类型对应唯一的日志名log_name和日志位置log_pos。
8.根据权利要求7所述的基于二进制日志解析的MySQL数据库增量同步实现方法，其特征在于：对于MySQL数据库中执行更新操作时，通过唯一的日志位置log_pos为起点读取二进制日志文件，解析更新事件的内容，并将解析出的数据值以字符串的形式存储到CMSP的消息队列中，实现对MySQL数据库更新数据的采集和存储，经过CMSP的加密传输和入库组件的解析，将更新数据转存的目标库，实现MySQL数据库从源库到目标库的更新同步。
9.根据权利要求8所述的基于二进制日志解析的MySQL数据库增量同步实现方法，其特征在于：在MySQL数据库中执行删除操作时，首先创建一张测试表，测试表中元素数据类型为一个整型和一个可变长度的字符串，对该测试表中数据做删除操作；查看创建测试表结构和删除数据时二进制日志文件中的日志名log_name和日志位置log_pos的变化；查看二进制日志文件在创建测试表结构和删除数据时的记录；执行删除数据操作时，二进制日志文件在删除事件中记录删除的数据列，每一个事件类型对应唯一的日志名log_name和日志位置log_pos。
10.根据权利要求9所述的基于二进制日志解析的MySQL数据库增量同步实现方法，其特征在于：对于MySQL数据库中执行删除更新操作时，通过唯一的日志位置log_pos为起点读取二进制日志文件内容，解析删除事件的内容，并将删除数据信息以字符串的形式存储到CMSP的消息队列中，实现对MySQL数据库的删除增量数据的采集和存储，通过CMSP的加密压缩传输及入库组件的解析，将删除数据转存到目标库，实现MySQL数据库从源库到目标库的删除同步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911138975.XA CN110879813B (zh) | 2019-11-20 | 2019-11-20 | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911138975.XA CN110879813B (zh) | 2019-11-20 | 2019-11-20 | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110879813A true CN110879813A (zh) | 2020-03-13 |
| CN110879813B CN110879813B (zh) | 2024-04-12 |
Family
ID=69729267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911138975.XA Active CN110879813B (zh) | 2019-11-20 | 2019-11-20 | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110879813B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111464610A (zh) * | 2020-03-30 | 2020-07-28 | 中科边缘智慧信息科技（苏州）有限公司 | 一种机动环境下的数据单元同步方法 |
| CN111858632A (zh) * | 2020-07-22 | 2020-10-30 | 浪潮云信息技术股份公司 | 一种基于NiFi的关系型数据库增量数据的入库方法 |
| CN112269823A (zh) * | 2020-10-30 | 2021-01-26 | 浪潮云信息技术股份公司 | 一种实现PostgreSQL增量数据同步的方法及系统 |
| CN112363995A (zh) * | 2020-10-30 | 2021-02-12 | 北京新数科技有限公司 | 基于日志解析的增量数据比对方法、装置和电子设备 |
| CN112698816A (zh) * | 2021-01-05 | 2021-04-23 | 浪潮云信息技术股份公司 | 一种KingBase数据库CDC实现方法 |
| CN112732488A (zh) * | 2021-01-11 | 2021-04-30 | 浪潮云信息技术股份公司 | 一种采用cmsp同步数据实现虚机内数据库备份的方法 |
| CN112765180A (zh) * | 2021-01-27 | 2021-05-07 | 上海英方软件股份有限公司 | 一种对db2数据库建表日志列名解析的方法及装置 |
| CN112835918A (zh) * | 2021-02-19 | 2021-05-25 | 浪潮云信息技术股份公司 | 一种MySQL数据库增量同步实现方法 |
| CN112883118A (zh) * | 2021-03-31 | 2021-06-01 | 浪潮云信息技术股份公司 | 一种基于sql的增量数据同步获取方法及系统 |
| CN112948420A (zh) * | 2021-03-05 | 2021-06-11 | 浪潮云信息技术股份公司 | 一种SQL Server增量同步的实现方法 |
| CN113779048A (zh) * | 2020-06-18 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
| CN115730020A (zh) * | 2022-11-22 | 2023-03-03 | 哈尔滨工程大学 | 基于MySQL数据库日志分析的自动驾驶数据监测方法及监测系统 |
| CN116860898A (zh) * | 2023-09-05 | 2023-10-10 | 建信金融科技有限责任公司 | 一种数据处理方法和装置 |
| CN117527833A (zh) * | 2024-01-04 | 2024-02-06 | 深圳市度申科技有限公司 | 一种数据同步方法 |
| CN117708094A (zh) * | 2023-12-26 | 2024-03-15 | 行吟信息科技(武汉)有限公司 | 数据处理方法、装置、电子设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0918284A2 (en) * | 1997-11-03 | 1999-05-26 | Mitsubishi Denki Kabushiki Kaisha | Log based data architecture for a transactional message queuing system |
| WO2004037994A2 (en) * | 2002-10-22 | 2004-05-06 | University Of Utah Research Foundation | Managing biological databases |
| WO2007059057A2 (en) * | 2005-11-12 | 2007-05-24 | Logrhythm, Inc | Log collection, structuring and processing |
| US20090144699A1 (en) * | 2007-11-30 | 2009-06-04 | Anton Fendt | Log file analysis and evaluation tool |
| US20120023116A1 (en) * | 2010-07-23 | 2012-01-26 | Oracle International Corporation | System and method for conversion of jms message data into database transactions for application to multiple heterogeneous databases |
| CN106126753A (zh) * | 2016-08-23 | 2016-11-16 | 易联众信息技术股份有限公司 | 基于大数据的增量抽取的方法 |
| US20170161166A1 (en) * | 2015-12-03 | 2017-06-08 | Sap Se | Logging framework and methods |
| US20180129579A1 (en) * | 2016-11-10 | 2018-05-10 | Nec Laboratories America, Inc. | Systems and Methods with a Realtime Log Analysis Framework |
| CN109308329A (zh) * | 2018-09-27 | 2019-02-05 | 深圳供电局有限公司 | 一种基于云平台的日志收集方法和装置 |
-
2019
- 2019-11-20 CN CN201911138975.XA patent/CN110879813B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0918284A2 (en) * | 1997-11-03 | 1999-05-26 | Mitsubishi Denki Kabushiki Kaisha | Log based data architecture for a transactional message queuing system |
| WO2004037994A2 (en) * | 2002-10-22 | 2004-05-06 | University Of Utah Research Foundation | Managing biological databases |
| WO2007059057A2 (en) * | 2005-11-12 | 2007-05-24 | Logrhythm, Inc | Log collection, structuring and processing |
| EP1955159A2 (en) * | 2005-11-12 | 2008-08-13 | Logrhythm, Inc. | Log collection, structuring and processing |
| US20090144699A1 (en) * | 2007-11-30 | 2009-06-04 | Anton Fendt | Log file analysis and evaluation tool |
| US20120023116A1 (en) * | 2010-07-23 | 2012-01-26 | Oracle International Corporation | System and method for conversion of jms message data into database transactions for application to multiple heterogeneous databases |
| US20170161166A1 (en) * | 2015-12-03 | 2017-06-08 | Sap Se | Logging framework and methods |
| CN106126753A (zh) * | 2016-08-23 | 2016-11-16 | 易联众信息技术股份有限公司 | 基于大数据的增量抽取的方法 |
| US20180129579A1 (en) * | 2016-11-10 | 2018-05-10 | Nec Laboratories America, Inc. | Systems and Methods with a Realtime Log Analysis Framework |
| CN109308329A (zh) * | 2018-09-27 | 2019-02-05 | 深圳供电局有限公司 | 一种基于云平台的日志收集方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 曾剑鹿;李宏;: "基于消息队列和XML的数据同步技术研究" * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111464610A (zh) * | 2020-03-30 | 2020-07-28 | 中科边缘智慧信息科技（苏州）有限公司 | 一种机动环境下的数据单元同步方法 |
| CN113779048A (zh) * | 2020-06-18 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
| CN111858632A (zh) * | 2020-07-22 | 2020-10-30 | 浪潮云信息技术股份公司 | 一种基于NiFi的关系型数据库增量数据的入库方法 |
| CN111858632B (zh) * | 2020-07-22 | 2024-02-20 | 浪潮云信息技术股份公司 | 一种基于NiFi的关系型数据库增量数据的入库方法 |
| CN112269823A (zh) * | 2020-10-30 | 2021-01-26 | 浪潮云信息技术股份公司 | 一种实现PostgreSQL增量数据同步的方法及系统 |
| CN112363995A (zh) * | 2020-10-30 | 2021-02-12 | 北京新数科技有限公司 | 基于日志解析的增量数据比对方法、装置和电子设备 |
| CN112698816A (zh) * | 2021-01-05 | 2021-04-23 | 浪潮云信息技术股份公司 | 一种KingBase数据库CDC实现方法 |
| CN112732488A (zh) * | 2021-01-11 | 2021-04-30 | 浪潮云信息技术股份公司 | 一种采用cmsp同步数据实现虚机内数据库备份的方法 |
| CN112732488B (zh) * | 2021-01-11 | 2023-02-28 | 浪潮云信息技术股份公司 | 一种采用cmsp同步数据实现虚机内数据库备份的方法 |
| CN112765180A (zh) * | 2021-01-27 | 2021-05-07 | 上海英方软件股份有限公司 | 一种对db2数据库建表日志列名解析的方法及装置 |
| CN112765180B (zh) * | 2021-01-27 | 2023-01-17 | 上海英方软件股份有限公司 | 一种对db2数据库建表日志列名解析的方法及装置 |
| CN112835918A (zh) * | 2021-02-19 | 2021-05-25 | 浪潮云信息技术股份公司 | 一种MySQL数据库增量同步实现方法 |
| CN112948420A (zh) * | 2021-03-05 | 2021-06-11 | 浪潮云信息技术股份公司 | 一种SQL Server增量同步的实现方法 |
| CN112883118A (zh) * | 2021-03-31 | 2021-06-01 | 浪潮云信息技术股份公司 | 一种基于sql的增量数据同步获取方法及系统 |
| CN115730020A (zh) * | 2022-11-22 | 2023-03-03 | 哈尔滨工程大学 | 基于MySQL数据库日志分析的自动驾驶数据监测方法及监测系统 |
| CN115730020B (zh) * | 2022-11-22 | 2023-10-10 | 哈尔滨工程大学 | 基于MySQL数据库日志分析的自动驾驶数据监测方法及监测系统 |
| CN116860898A (zh) * | 2023-09-05 | 2023-10-10 | 建信金融科技有限责任公司 | 一种数据处理方法和装置 |
| CN116860898B (zh) * | 2023-09-05 | 2024-04-23 | 建信金融科技有限责任公司 | 一种数据处理方法和装置 |
| CN117708094A (zh) * | 2023-12-26 | 2024-03-15 | 行吟信息科技(武汉)有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN117527833A (zh) * | 2024-01-04 | 2024-02-06 | 深圳市度申科技有限公司 | 一种数据同步方法 |
| CN117527833B (zh) * | 2024-01-04 | 2024-03-29 | 深圳市度申科技有限公司 | 一种数据同步方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110879813B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110879813B (zh) | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 | |
| US8626717B2 (en) | Database backup and restore with integrated index reorganization | |
| WO2022126974A1 (zh) | 基于Kafka的增量数据同步方法、装置、设备及介质 | |
| CN101127034B (zh) | 数据组织、查询、呈现、存档、恢复、删除、提炼方法及装置和系统 | |
| CN113986873B (zh) | 一种海量物联网数据模型化的处理、存储与共享方法 | |
| CN112835918A (zh) | 一种MySQL数据库增量同步实现方法 | |
| CN103733195A (zh) | 管理用于基于范围的搜索的数据的存储 | |
| JP2014523024A (ja) | 増分データの抽出 | |
| CN109086382B (zh) | 一种数据同步方法、装置、设备及存储介质 | |
| CN110287251B (zh) | MongoDB到HBase的分布式高容错数据实时同步方法 | |
| CN111291235A (zh) | 一种基于时序数据库的元数据存储方法及装置 | |
| CN110781036A (zh) | 数据恢复方法、装置、计算机设备及存储介质 | |
| CN103440265A (zh) | 基于MapReduce的MYSQL数据库的变化数据捕获方法 | |
| US11748495B2 (en) | Systems and methods for data usage monitoring in multi-tenancy enabled HADOOP clusters | |
| CN110245037B (zh) | 一种基于日志的Hive用户操作行为还原方法 | |
| US7415458B2 (en) | Computer systems and methods for operating a computer system | |
| CN111694853B (zh) | 基于世系的数据增量采集方法、装置、存储介质和电子设备 | |
| Zhang et al. | Recovering SQLite data from fragmented flash pages | |
| US20220222146A1 (en) | Versioned backup on an object addressable storage system | |
| CN110866068B (zh) | 一种基于hdfs的公告数据存储方法及其装置 | |
| Kieseberg et al. | Analysis of the internals of mysql/innodb b+ tree index navigation from a forensic perspective | |
| CN110222169A (zh) | 一种可视化数据处理解析系统及其处理方法 | |
| CN115658815A (zh) | 基于cdc实现的数据同步的方法 | |
| CN113760600B (zh) | 一种数据库备份方法、数据库还原方法和相关装置 | |
| CN110287172B (zh) | 一种格式化HBase数据的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 271000 Langchao science and Technology Park, 527 Dongyue street, Tai'an City, Shandong Province Applicant after: INSPUR SOFTWARE Co.,Ltd. Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong Applicant before: INSPUR SOFTWARE Co.,Ltd. Country or region before: China |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |