CN112182001A - 数据库增量同步至动态es索引库的方法、装置和介质 - Google Patents

数据库增量同步至动态es索引库的方法、装置和介质 Download PDF

Info

Publication number
CN112182001A
CN112182001A CN202011030212.6A CN202011030212A CN112182001A CN 112182001 A CN112182001 A CN 112182001A CN 202011030212 A CN202011030212 A CN 202011030212A CN 112182001 A CN112182001 A CN 112182001A
Authority
CN
China
Prior art keywords
mysql
index
database
data
message queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011030212.6A
Other languages
English (en)
Inventor
谭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202011030212.6A priority Critical patent/CN112182001A/zh
Publication of CN112182001A publication Critical patent/CN112182001A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据库增量同步至动态ES索引库的方法、装置和介质，属于数据库中数据变量实时检索的技术领域，要解决的技术问题为如何解决现有业务系统在数据实时更新时存在的操作复杂、延迟高以及配置不灵活。该方法包括如下步骤：以对象和属性为核心要素，对MYSQL数据表进行动态数据建模；开启并读取MYSQL的BINLOG日志，将读取到的MYSQL操作事件解析封装为事件对象；将事件对象消息发送至消息队列中，通过消息队列消费者将事件对象消息写入ES索引库中；通过消息队列消费者调用ES索引库的服务创建索引，并从MYSQL数据表读取数据模型配置索引，将数据的增量以及全量更新至ES索引库。

Description

数据库增量同步至动态ES索引库的方法、装置和介质
技术领域
本发明属于数据库中数据变量实时检索的技术领域，具体地说是数据库增量同步至动态ES索引库的方法、装置和介质。
背景技术
在对数据库数据的增量及全量更新处理方式上，传统的解决方式主要有以下几种：
(1)时间戳方式：在表中添加时间戳字段，当数据发生变化时，通过时间戳字段来控制数据更新操作；
(2)版本控制方式：在数据记录上添加版本号，对数据的每次更新做好版本控制，通过对比数据的版本号来判断数据是否发生变化；
(3)工具方式：利用第三方的数据同步工具，例如ETL工具、LOGSTASH、CANAL等进行数据的增量同步。
上述工具方式无法对需要同步的表进行动态配置，且增量更新也有一定的延迟，灵活性不够；时间戳方式以及版本控制方式操作复杂、延迟高。
如何解决现有业务系统在数据实时更新时存在的操作复杂、延迟高以及配置不灵活等问题，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供数据库增量同步至动态ES索引库的方法、装置和介质，来解决如何解决现有业务系统在数据实时更新时存在的操作复杂、延迟高以及配置不灵活的技术问题。
第一方面，本发明提供一种数据库增量同步至动态ES索引库的方法，包括如下步骤：
以对象和属性为核心要素，对MYSQL数据表进行动态数据建模；
开启并读取MYSQL的BINLOG日志，将读取到的MYSQL操作事件解析封装为事件对象，进而对MYSQL的日志进行处理；
将事件对象消息发送至消息队列中，通过消息队列消费者将事件对象消息写入ES索引库中，所述消息队列为分布式消息队列；
通过消息队列消费者调用ES索引库的服务创建索引，并从MYSQL数据表读取数据模型配置索引，将数据的增量以及全量更新至ES索引库。
作为优选，对MYSQL数据表进行动态数据建模，包括定义对象类型、属性类型，所述属性信息包括字段名称、字典配置、属性名称、属性URL、数值类型、日期格式和是否建立索引，所述对象信息包括对象名称、对象URL、上级对线、显示顺序以及描述信息。
作为优选，所述MYSQL的BINLOG日志用于查看数据库的变更历史、数据库增量备份和恢复、MYSQL的复制；
所述数据库增量备份和恢复包括增量备份和基于时间点的恢复；
所述MYSQL的复制包括主主数据库的复制、主从数据库的复制。
作为优选，开启MYSQL的BINLOG日志后，将MYSQL的日志格式设置为ROW模式；
所述监听到的MYSQL操作事件包括UpdateRowsEventData、WriteRows-EventData、DeleteRowsEventData，所述UpdateRowsEventData对应修改操作，所述WriteRowsEventData对应新增操作，所述DeleteRowsEventData对应删除操作。
作为优选，将事件对象消息发送至消息队列中，通过消息队列消费者将事件对象消息写入动态索引库中，包括如下步骤：
将事件对象消息分别放入消息队列生产者中，通过交换机将事件对象消息分别分发至对应的消息队列；
消息队列消费者实时监听队列中的BINLOG的信息，当监听到事件对象消息后对事件进行解析，并在消费逻辑中调用ES索引库的服务，将解析后的事件对象消息写入ES索引库并通过ES索引库的服务进行索引创建。
作为优选，所述消息队列中选用RabbitMQ组件；
消息队列消费者通过直接添加RabbitListene注解实时监听消息队列中的BINLOG的消息。
作为优选，所述交换机支持路由模式、通配符模式、发布订阅模式和首部模式，通过上述四种模式将事件对象消息分发至对应的消息队列中。
作为优选，通过消息队列消费者调用动态索引库的服务创建索引，包括：
根据MYSQL数据表中数据模型实现外部多源异构数据的融合，所述多源异构数据包括但不限于结构化数据和非结构化数据；
对数据模型进行对象和属性元数据的补充转换，包括实现属性中文名称和对象中文名称的转换以及实现属性展示顺序、属性统计、行为明细以及对象详情的配置。
第二方面，本发明提供一种装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行第一方面任一所述的方法。
第三方面，本发明提供一种介质，为计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面任一所述的方法。
本发明的数据库增量同步至动态ES索引库的方法、装置和介质具有以下优点：
1、以对象和属性为核心要素对MYSQL数据表进行动态数据建模，在ES索引库中创建索引时，从MYSQL数据表中读取数据模型配置索引，可以使得数据动态、灵活地同步至索引库中；
2、通过MYSQL的BINLOG日志监听，将监听到MYSQL操作事件解析封装为事件对象后，将事件对象消息发送至消息队列中，通过消息队列消费者对事件进行解析，由于消息队列的解耦、削峰等特性，事件的发送及解析工作基本是实时操作，可实现消息同步的零延迟；
3、消息队列为分布式消息队列，通过交换机将事件对象消息分别发送至对应的消息队列，在高并发下，采用分布式消息队列保证了高可用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例1数据库增量同步至动态ES索引库的方法的流程框图；
图2为实施例1数据库增量同步至动态ES索引库的方法中属性信息的结构示意图；
图3为实施例1数据库增量同步至动态ES索引库的方法中对象信息的结构示意图；
图4为实施例1数据库增量同步至动态ES索引库的方法中将MYSQL的日志格式设置为ROW模式的执行代码；
图5为实施例1数据库增量同步至动态ES索引库的方法中消息队列的工作流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供数据库增量同步至动态ES索引库的方法、装置和介质，用于解决如何解决现有业务系统在数据实时更新时存在的操作复杂、延迟高以及配置不灵活的技术问题。
实施例1：
如图1所示，本发明的数据库增量同步至动态ES索引库的方法，包括如下步骤：
S100、以对象和属性为核心要素，对MYSQL数据表进行动态数据建模；
S200、开启并读取MYSQL的BINLOG日志，将读取到的MYSQL操作事件解析封装为事件对象，进而对MYSQL的日志进行处理；
S300、将事件对象消息发送至消息队列中，通过消息队列消费者将事件对象消息写入ES索引库中，消息队列为分布式消息队列；
S400、通过消息队列消费者调用ES索引库的服务创建索引，并从MYSQL数据表读取数据模型配置索引，将数据的增量以及全量更新至ES索引库。
本实施例中，对MYSQL数据表进行动态数据建模，包括定义对象类型、属性类型，如图2所示属性信息包括字段名称、字典配置、属性名称、属性URL、数值类型、日期格式和是否建立索引，如图3所示，对象信息包括对象名称、对象URL、上级对线、显示顺序以及描述信息。
步骤S200中通过MYSQL的BINLOG日志实现监听，BINLOG称为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存在磁盘中；MYSQL的BINLOG作用类似于Oracle的归档日志，可以用来查看数据库的变更历史、数据库增量备份和恢复以及MYSQL的复制，其中，数据库增量备份和恢复包括增量备份和基于时间点的恢复；MYSQL的复制包括主主数据库的复制、主从数据库的复制。
BINLOG有三种格式，分别为Statement、ROW和Mixed。
Statement,为基于SQL语句的复制(statement-based replication,SBR),其每一条修改数据的SQL语句均记录在BINLOG中，不需要记录每一行的变化，减少了BINLOG日志量，节约了IO，提高了性能。由于记录的只是执行语句，为了这些语句能在slave上正确运行，因此必须记录每条语句在执行时的相关信息，以保证所有语句能在slave得到和在master端执行时候相同的结果。
ROW，基于行的复制(row-based replication,RBR)，BINLOG中可以不记录执行的SQL语句的上下文相关的信息，仅需要记录那一条记录被修改的结果，所以rowlevel的日志内容会非常清楚的记录下每一行数据修改的细节。而且不会出现某些特定情况下的存储过程，或function，以及trigger的调用和触发无法被正确复制的问题。
Mixed，混合模式复制(mixed-based replication,MBR)，在Mixed模式下，一般的语句修改使用statment格式保存BINLOG，如一些函数，statement无法完成主从复制的操作，则采用row格式保存BINLOG，Mysql会根据执行的每一条具体的SQL语句来区分对待记录的日志形式，也就是在Statement和Row之间选择一种。
本实施例中，开启MYSQL的BINLOG日志后，将MYSQL的日志格式设置为ROW模式，执行代码如图4所示。
本实施例中，主要监听四种事件分别为UpdateRowsEventData、WriteRowsEventData、DeleteRowsEventData，即分别对应了修改、新增、删除操作。然后对日志进行读取，将读取到的MYSQL操作事件进行解析封装，最终封装为事件对象，进而对MYSQL的日志进行处理。
步骤S300中，将监听到的事件消息解析后分别放入消息队列生产者中，消息队列消费者会及时消费队列中的信息，对事件进行解析。由于消息队列的解耦、削峰等特性，事件的发送及解析工作基本是实时操作。
本实施例中消息队列为分布式消息队列，选用RabbitMQ作为消息队列的组件。此组件，基本流程如图5所示。其中交换机的功能是用于消息分发，它负责接收消息并转发到与之绑定的队列，exchange不存储消息，如果一个exchange没有binding任何Queue，那么当它会丢弃生产者发送过来的消息，在启用ACK机制后，如果exchange找不到队列，则会返回错误。一个exchange可以和多个Queue进行绑定。
交换机有四种类型：
路由模式，direct类型的行为是"先匹配,再投送"，即在绑定时设定一个routing_key,消息的routing_key匹配时,才会被交换器投送到绑定的队列中去，direct是rabbitmq的默认交换机类型；
通配符模式，直连交换机的routing_key方案非常简单，如果我们希望一条消息发送给多个队列，那么这个交换机需要绑定上非常多的routing_key，假设每个交换机上都绑定一堆的routing_key连接到各个队列上。那么消息的管理就会异常地困难，所以RabbitMQ提供了一种主题交换机，发送到主题交换机上的消息需要携带指定规则的routing_key，主题交换机会根据这个规则将数据发送到对应的(多个)队列上；
发布订阅模式，扇形交换机是最基本的交换机类型，它所能做的事情就是——广播消息，扇形交换机会把能接收到的消息全部发送给绑定在自己身上的队列，因为广播不需要“思考”，所以扇形交换机处理消息的速度也是所有的交换机类型里面最快的；
首部模式(Headers)，首部交换机是忽略routing_key的一种路由方式。路由器和交换机路由的规则是通过Headers信息来交换的，这个有点像HTTP的Headers。将一个交换机声明成首部交换机，绑定一个队列的时候，定义一个Hash的数据结构，消息发送的时候，会携带一组hash数据结构的信息，当Hash的内容匹配上的时候，消息就会被写入队列。绑定交换机和队列的时候，Hash结构中要求携带一个键“x-match”，这个键的Value可以是any或者all，这代表消息携带的Hash是需要全部匹配(all)，还是仅匹配一个键(any)就可以了。相比直连交换机，首部交换机的优势是匹配的规则不被限定为字符串(string)。
在本实施例中，将事件对象消息分别放入消息队列生产者中，交换机基于上述四种模式将事件对象消息分别分发至对应的消息队列中，消息队列消费者实时监听队列中的BINLOG的信息，当监听到事件对象消息后对事件进行解析，并在消费逻辑中调用ES索引库的服务，将解析后的事件对象消息写入ES索引库并通过ES索引库的服务进行索引创建。
在进行索引创建过程中，根据MYSQL数据表中数据模型实现外部结构化数据、非结构化数据等多源异构数据的融合；同时在创建索引时可对数据模型进行对象、属性等元数据的补充转换，如属性中文名称、对象中文名称等转换以及实现属性展示顺序、属性统计、行为明细、对象详情等配置功能。
数据库中一旦有DML操作，按照上述处理流程，数据将会实时动态同步至ES索引库中，完成基于索引库的实时检索。
实施例2：
本发明实施例还提供了一种:装置，包括：至少一个存储器和至少一个处理器；至少一个存储器，用于存储机器可读程序；至少一个处理器，用于调用所述机器可读程序，执行本发明实施例1公开的数据库增量同步至动态ES索引库的方法。
实施例3：
本发明实施例还提供了一种计算机可读介质，该计算机可读介质上存储有计算机指令，该计算机指令在被处理器执行时，使所述处理器执行实施例1公开的数据库增量同步至动态ES索引库的方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.数据库增量同步至动态ES索引库的方法，其特征在于包括如下步骤：
以对象和属性为核心要素，对MYSQL数据表进行动态数据建模；
开启并读取MYSQL的BINLOG日志，将读取到的MYSQL操作事件解析封装为事件对象，进而对MYSQL的日志进行处理；
将事件对象消息发送至消息队列中，通过消息队列消费者将事件对象消息写入ES索引库中，所述消息队列为分布式消息队列；
通过消息队列消费者调用ES索引库的服务创建索引，并从MYSQL数据表读取数据模型配置索引，将数据的增量以及全量更新至ES索引库。
2.根据权利要求1所述的数据库增量同步至动态索引库的方法，其特征在于对MYSQL数据表进行动态数据建模，包括定义对象类型、属性类型，所述属性信息包括字段名称、字典配置、属性名称、属性URL、数值类型、日期格式和是否建立索引，所述对象信息包括对象名称、对象URL、上级对线、显示顺序以及描述信息。
3.根据权利要求1所述的数据库增量同步至动态索引库的方法，其特征在于所述MYSQL的BINLOG日志用于查看数据库的变更历史、数据库增量备份和恢复、MYSQL的复制；
所述数据库增量备份和恢复包括增量备份和基于时间点的恢复；
所述MYSQL的复制包括主主数据库的复制、主从数据库的复制。
4.根据权利要求1所述的数据库增量同步至动态索引库的方法，其特征在于开启MYSQL的BINLOG日志后，将MYSQL的日志格式设置为ROW模式；
所述监听到的MYSQL操作事件包括UpdateRowsEventData、WriteRows-EventData、DeleteRowsEventData，所述UpdateRowsEventData对应修改操作，所述WriteRowsEventData对应新增操作，所述DeleteRowsEventData对应删除操作。
5.根据权利要求1所述的数据库增量同步至动态索引库的方法，其特征在于将事件对象消息发送至消息队列中，通过消息队列消费者将事件对象消息写入动态索引库中，包括如下步骤：
将事件对象消息分别放入消息队列生产者中，通过交换机将事件对象消息分别分发至对应的消息队列；
消息队列消费者实时监听队列中的BINLOG的信息，当监听到事件对象消息后对事件进行解析，并在消费逻辑中调用ES索引库的服务，将解析后的事件对象消息写入ES索引库并通过ES索引库的服务进行索引创建。
6.根据权利要求5所述的数据库增量同步至动态索引库的方法，其特征在于所述消息队列中选用RabbitMQ组件；
消息队列消费者通过直接添加RabbitListene注解实时监听消息队列中的BINLOG的消息。
7.根据权利要求5或6所述的数据库增量同步至动态索引库的方法，其特征在于所述交换机支持路由模式、通配符模式、发布订阅模式和首部模式，通过上述四种模式将事件对象消息分发至对应的消息队列中。
8.根据权利要求1所述的数据库增量同步至动态索引库的方法，其特征在于通过消息队列消费者调用动态索引库的服务创建索引，包括：
根据MYSQL数据表中数据模型实现外部多源异构数据的融合，所述多源异构数据包括但不限于结构化数据和非结构化数据；
对数据模型进行对象和属性元数据的补充转换，包括实现属性中文名称和对象中文名称的转换以及实现属性展示顺序、属性统计、行为明细以及对象详情的配置。
9.装置，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至8中任一所述的方法。
10.介质，为计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至8任一所述的方法。
CN202011030212.6A 2020-09-27 2020-09-27 数据库增量同步至动态es索引库的方法、装置和介质 Pending CN112182001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011030212.6A CN112182001A (zh) 2020-09-27 2020-09-27 数据库增量同步至动态es索引库的方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011030212.6A CN112182001A (zh) 2020-09-27 2020-09-27 数据库增量同步至动态es索引库的方法、装置和介质

Publications (1)

Publication Number Publication Date
CN112182001A true CN112182001A (zh) 2021-01-05

Family

ID=73945038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011030212.6A Pending CN112182001A (zh) 2020-09-27 2020-09-27 数据库增量同步至动态es索引库的方法、装置和介质

Country Status (1)

Country Link
CN (1) CN112182001A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254466A (zh) * 2021-06-18 2021-08-13 腾讯科技（深圳）有限公司 一种数据处理方法、装置、电子设备和存储介质
CN113672627A (zh) * 2021-09-08 2021-11-19 湖南惠农科技有限公司 Elasticsearch搜索引擎索引构建方法及装置
CN113918657A (zh) * 2021-12-14 2022-01-11 天津南大通用数据技术股份有限公司 一种并行高性能增量同步方法
CN114547199A (zh) * 2022-02-23 2022-05-27 阿维塔科技(重庆)有限公司 数据库增量同步响应方法、装置及计算机可读存储介质
WO2022206054A1 (zh) * 2021-03-31 2022-10-06 北京沃东天骏信息技术有限公司 一种物料增量处理方法、装置、电子设备和计算机存储介质
CN115599797A (zh) * 2022-11-29 2023-01-13 广东通莞科技股份有限公司（Cn） 基于操作日志的双向同步方法、装置和电子设备
CN115840788A (zh) * 2023-02-21 2023-03-24 创意信息技术股份有限公司 一种MySql数据同步到ES的方法、装置、终端及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN108804237A (zh) * 2017-05-05 2018-11-13 北京京东尚科信息技术有限公司 数据实时统计方法、装置、存储介质和电子设备
CN108920659A (zh) * 2018-07-03 2018-11-30 广州唯品会信息科技有限公司 数据处理系统及其数据处理方法、计算机可读存储介质
CN110287273A (zh) * 2019-07-03 2019-09-27 成都路行通信息技术有限公司 基于监听MySQL数据库binlog变化实现数据同步的方法和系统
CN111026813A (zh) * 2019-12-18 2020-04-17 紫光云(南京)数字技术有限公司 一种基于MySQL的高可用准实时数据同步方法
CN111090699A (zh) * 2019-12-13 2020-05-01 北京奇艺世纪科技有限公司 业务数据的同步方法和装置、存储介质、电子装置
CN111414416A (zh) * 2020-02-28 2020-07-14 平安科技（深圳）有限公司 数据处理方法、装置、设备和存储介质
CN111611227A (zh) * 2020-05-21 2020-09-01 浩云科技股份有限公司 一种自定义监听数据库变化产生自定义消息结构的方法及控制装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN108804237A (zh) * 2017-05-05 2018-11-13 北京京东尚科信息技术有限公司 数据实时统计方法、装置、存储介质和电子设备
CN108920659A (zh) * 2018-07-03 2018-11-30 广州唯品会信息科技有限公司 数据处理系统及其数据处理方法、计算机可读存储介质
CN110287273A (zh) * 2019-07-03 2019-09-27 成都路行通信息技术有限公司 基于监听MySQL数据库binlog变化实现数据同步的方法和系统
CN111090699A (zh) * 2019-12-13 2020-05-01 北京奇艺世纪科技有限公司 业务数据的同步方法和装置、存储介质、电子装置
CN111026813A (zh) * 2019-12-18 2020-04-17 紫光云(南京)数字技术有限公司 一种基于MySQL的高可用准实时数据同步方法
CN111414416A (zh) * 2020-02-28 2020-07-14 平安科技（深圳）有限公司 数据处理方法、装置、设备和存储介质
CN111611227A (zh) * 2020-05-21 2020-09-01 浩云科技股份有限公司 一种自定义监听数据库变化产生自定义消息结构的方法及控制装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
通往架构师的路上: "RabbitMQ系列之三 Rabbit MQ几种典型模式", 《CSDN》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206054A1 (zh) * 2021-03-31 2022-10-06 北京沃东天骏信息技术有限公司 一种物料增量处理方法、装置、电子设备和计算机存储介质
CN113254466A (zh) * 2021-06-18 2021-08-13 腾讯科技（深圳）有限公司 一种数据处理方法、装置、电子设备和存储介质
CN113672627A (zh) * 2021-09-08 2021-11-19 湖南惠农科技有限公司 Elasticsearch搜索引擎索引构建方法及装置
CN113672627B (zh) * 2021-09-08 2023-08-18 湖南惠农科技有限公司 Elasticsearch搜索引擎索引构建方法及装置
CN113918657A (zh) * 2021-12-14 2022-01-11 天津南大通用数据技术股份有限公司 一种并行高性能增量同步方法
CN113918657B (zh) * 2021-12-14 2022-03-15 天津南大通用数据技术股份有限公司 一种并行高性能增量同步方法
CN114547199A (zh) * 2022-02-23 2022-05-27 阿维塔科技(重庆)有限公司 数据库增量同步响应方法、装置及计算机可读存储介质
CN115599797A (zh) * 2022-11-29 2023-01-13 广东通莞科技股份有限公司（Cn） 基于操作日志的双向同步方法、装置和电子设备
CN115840788A (zh) * 2023-02-21 2023-03-24 创意信息技术股份有限公司 一种MySql数据同步到ES的方法、装置、终端及存储介质
CN115840788B (zh) * 2023-02-21 2023-04-28 创意信息技术股份有限公司 一种MySql数据同步到ES的方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
CN112182001A (zh) 数据库增量同步至动态es索引库的方法、装置和介质
CN109492012B (zh) 一种数据实时统计和检索的方法、装置及存储介质
WO2022126974A1 (zh) 基于Kafka的增量数据同步方法、装置、设备及介质
WO2019134226A1 (zh) 一种日志收集方法、装置、终端设备及存储介质
US9047392B2 (en) System and method for conversion of JMS message data into database transactions for application to multiple heterogeneous databases
CN111881192B (zh) 可视化配置报表的生成方法、系统、电子设备及存储介质
CN111209344A (zh) 数据同步方法及装置
WO2021120880A1 (zh) 数据复制处理方法、装置、容灾系统、设备及存储介质
CN113704790A (zh) 一种异常日志信息汇总方法及计算机设备
WO2021057127A1 (zh) 一种基于多条业务属性的数据存储方法、装置及设备
CN113590639A (zh) 一种网闸隔离的数据库之间数据同步方法
CN109902070B (zh) 一种面向WiFi日志数据的解析存储搜索方法
CN115731069A (zh) 应用于核电厂信息系统电子文件归档四性检测方法及系统
CN114398217A (zh) 一种fpga并行仿真的海量仿真波形数据切片方法
CN102792281A (zh) 存储设备
CN110417892B (zh) 基于报文解析的数据复制链路优化方法及装置
CN111831954A (zh) 内容数据更新方法、装置、计算机设备及存储介质
CN116303789A (zh) 多分片多副本数据库并行同步方法、装置及可读介质
CN116383308A (zh) 一种具备全链路反压特性的数据同步方法及系统
CN114564458B (zh) 集群间数据同步的方法、装置、设备和存储介质
CN111026764B (zh) 一种数据存储方法、装置、电子产品及存储介质
CN116701452A (zh) 数据处理方法、相关设备、存储介质及程序产品
CN104753659A (zh) 一种多网元数据同步加载的方法、装置及系统
CN104679883A (zh) 一种利用分区置换实现数据快速归档降存储空间的方法
CN112202873B (zh) 数据下发方法、装置及计算机及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105