CN116303652A - 一种基于数据库binlog的事件分发方法及系统 - Google Patents
一种基于数据库binlog的事件分发方法及系统 Download PDFInfo
- Publication number
- CN116303652A CN116303652A CN202310552416.3A CN202310552416A CN116303652A CN 116303652 A CN116303652 A CN 116303652A CN 202310552416 A CN202310552416 A CN 202310552416A CN 116303652 A CN116303652 A CN 116303652A
- Authority
- CN
- China
- Prior art keywords
- event
- consumption
- binlog
- consumer
- queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请提出的一种基于数据库binlog的事件分发方法及系统，其中方法应用于事件分发中心，具体包括：接收业务数据中心发送的一个或多个binlog日志；根据所述binlog日志生成事件合集；根据消费端提供的事件消费规则，基于所述事件合集生成事件消费队列。本申请提出的方案将多个不同数据来源的业务数据库的binlog日志进行处理，生成消费端可以消费的事件格式，并根据消费端的订阅需求将数据库事件推送给消费端。本申请提出的方案面向多个数据来源及多个订阅目标消费端，实现无需二次开发，将发生变化的业务数据库内的数据实时准确的推送给目标消费端的效果。
Description
技术领域
本申请涉及数据库数据交换领域，尤其是涉及一种基于数据库binlog的事件分发方法及系统。
背景技术
随着当今社会信息化程度的不断提高，企业在运行过程中产生的数据日益增多，企业之间、企业内部各部门之间进行数据交换和数据共享成为目前数据库系统发展的重要需求。
目前已有的数据交换方式以批量数据推送模式为主，具体表现为数据库批量按每天或每月等固定的时间间隔向订阅者定时推送。但随着互联网的飞速发展，企业对数据的多样性、可复用性、实时性、可扩展性的要求逐步提高，以前批量数据定时推送的模式已经不能满足企业的要求。因此，需要在不进行二次开发的基础上，提供一种在业务数据库发生变更时，把数据高效、准确的推送给多个目标终端的方法。
发明内容
针对现有技术中存在的问题，本申请提供了一种基于数据库binlog的事件分发方法。本申请提出的方法将多个业务数据库的binlog转化成事件，根据消费端的需求实时的将事件推送给消费端。
根据本申请的第一个方面，提出一种基于数据库binlog的事件分发方法，应用于事件分发中心，包括：
接收业务数据中心发送的一个或多个binlog日志；
根据所述binlog日志生成事件合集；
根据消费端提供的事件消费规则，基于所述事件合集生成事件消费队列。
根据一些实施例，所述事件消费规则包括所述消费端订阅的事件列表及所述事件列表中各个事件对应的事件消费类型，所述事件消费类型包括主动消费事件和被动消费事件。
根据一些实施例，所述根据消费端提供的事件消费规则，基于所述事件合集生成事件消费队列包括：
判断所述事件合集中的第一事件是否属于所述事件列表；
在所述第一事件属于所述事件列表的情况下，确定所述第一事件对应的事件消费类型；
在所述第一事件为所述主动消费事件的情况下，将所述第一事件投递到与所述消费端相对应的主动消费队列；
在所述第一事件为所述被动消费事件的情况下，将所述第一事件投递到与所述消费端相对应的被动消费队列；
重复上述过程直到所述事件合集中的所有事件都判断完成。
根据一些实施例，一种基于数据库binlog的事件分发方法还包括：
响应于所述消费端的主动事件消费请求，将所述主动消费队列中的事件发送到所述消费端。
根据一些实施例，一种基于数据库binlog的事件分发方法还包括：
将所述被动消费队列中的事件通过http协议回调所述消费端。
根据一些实施例，一种基于数据库binlog的事件分发方法还包括：
基于所述事件的来源binlog日志、事件投递记录和事件消费记录，生成事件日志。
根据一些实施例，所述根据所述binlog日志生成事件合集包括：
在多个所述binlog日志的格式不同的情况下，将所述不同格式的binlog日志转化成统一的预设格式；
筛选所述binlog日志中和消费端业务相关的部分，生成binlog业务记录；
根据事件转换规则，将所述binlog业务记录转换成事件合集。
根据一些实施例，所述事件消费队列的类型包括RocketMQ、RabbitMQ、Kafka。
根据本申请的第二个方面，提出一种基于数据库binlog的事件分发装置，包括binlog接收模块、事件生成模块、消费队列生成模块，其中：
所述binlog接收模块用于接收业务数据中心发送的一个或多个binlog日志；
所述事件生成模块用于根据所述binlog日志生成事件合集；
所述消费队列生成模块用于根据消费端提供的事件消费规则，基于所述事件合集生成事件消费队列。
根据本申请的第三个方面，提出一种基于数据库binlog的事件分发系统，包括业务数据中心、事件分发中心和消费端，所述业务数据中心包括一个或多个业务数据库，其中：
所述业务数据中心用于发送和业务数据库相对应的一个或多个binlog日志到事件分发中心；
所述事件分发中心用于执行如本申请第一方面所述的方法；
所述消费端用于消费所述事件消费队列中的所述事件。
根据本申请的第四个方面，提出一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请第一个方面所述的方法。
根据本申请的第五个方面，提出一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请第一个方面所述的方法。
本申请提出的一种基于数据库binlog的事件分发方法及系统，将多个不同数据来源的业务数据库的binlog日志进行处理，生成消费端可以消费的事件格式，并根据消费端的订阅需求将数据库事件推送给消费端。本申请提出的方案面向多个数据来源及多个订阅目标消费端，实现无需二次开发，将发生变化的业务数据库内的数据实时准确的推送给目标消费端的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本申请要求保护的范围。
图1为本申请的基于数据库binlog的事件分发方法的流程图；
图2为本申请的基于数据库binlog的事件分发装置的示意图；
图3为本申请的基于数据库binlog的事件分发系统的整体框架示意图；
图4为本申请的基于数据库binlog的事件分发方法的一个具体实施例的步骤流程图；
图5为本申请提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请的基于数据库binlog的事件分发方法的流程图。
步骤S101，接收业务数据中心发送的一个或多个binlog日志。
在一些具体实施例中，业务数据中心包括一个或多个业务数据库，每个业务数据库包括与之对应的binlog日志。在一些具体实施例中，业务数据中心的多个binlog日志的格式存在不同。在一些具体实施例中，业务数据中心发送一个或多个binlog日志到事件分发中心。在一些具体实施例中，业务数据库包括不同的业务系统所对应的数据库。
步骤S102，根据所述binlog日志生成事件合集。
在一些具体实施例中，事件分发中心接收业务数据中心发送的一个或多个业务数据库相对应的binlog日志。在一些具体实施例中，事件分发中心统一接收到的多个binlog日志的格式。在一些具体实施例中，筛选统一格式后的binlog日志中和消费端业务相关的部分，得到binlog记录。在一些具体实施例中，将binlog记录按照事件转换规则转换为消费端所需的事件的格式，得到事件合集。
在一些具体实施例中，binlog记录包括和业务数据库相关的字段。在一些具体实施例中，事件转换规则包括将binlog记录中的字段进行筛选，得到和当前事件相关的字段，将字段以重新命名和赋值的方式转换为事件格式。在一些具体实施例中，根据事件转换规则将一个binlog记录转换成多个事件，组成事件合集 。
步骤S103，根据消费端提供的事件消费规则，基于所述事件合集生成事件消费队列。
在一些具体实施例中，根据消费端需求对事件合集中的事件进行投递，生成事件消费队列。在一些具体实施例中，事件消费队列的类型包括RocketMQ、RabbitMQ、Kafka。在一些具体实施例中，消费端定义的事件消费规则包括其订阅的和自身业务相关的事件列表及事件列表中每个事件对应的消费类型。在一些具体实施例中，消费端所定义的消费类型包括主动消费事件和被动消费事件。
在一些具体实施例中，对事件合集中的任一事件，判断该事件是否属于消费端的事件列表。在一些具体实施例中，如果事件合集中的一个事件不属于消费端的事件列表，则继续对下一个事件是否属于消费端事件列表进行判断。在一些具体实施例中，如果事件合集中的一个事件属于消费端的事件列表，则判断该事件的事件消费类型。在一些具体实施例中，在事件为主动消费事件的情况下，将事件投递到主动消费队列。在一些具体实施例中，在事件为被动消费事件的情况下，将事件投递到被动消费队列。重复上述过程，直到完成对事件合集中所有事件的判断。
在一些具体实施例中，基于所述事件的来源binlog日志、事件投递记录和事件消费记录，生成事件日志。在一些具体实施例中，事件日志用于对事件的消费过程进行回放。
图2为本申请的基于数据库binlog的事件分发装置的示意图。
如图2所示，基于数据库binlog的事件分发装置包括binlog接收模块、事件生成模块、消费队列生成模块。
binlog接收模块用于接收业务数据中心发送的一个或多个binlog日志。
在一些具体实施例中，业务数据中心包括一个或多个业务数据库，每个业务数据库包括与之对应的binlog日志。在一些具体实施例中，业务数据中心的多个binlog日志的格式存在不同。在一些具体实施例中，业务数据中心发送一个或多个binlog日志到事件分发中心。在一些具体实施例中，业务数据库包括不同的业务系统所对应的数据库。
事件生成模块用于根据所述binlog日志生成事件合集。
在一些具体实施例中，事件分发中心接收业务数据中心发送的一个或多个业务数据库相对应的binlog日志。在一些具体实施例中，事件分发中心统一接收到的多个binlog日志的格式。在一些具体实施例中，筛选统一格式后的binlog日志中和消费端业务相关的部分，得到binlog记录。在一些具体实施例中，将binlog记录按照事件转换规则转换为消费端所需的事件的格式，得到事件合集。
消费队列生成模块用于根据消费端提供的事件消费规则，基于所述事件合集生成事件消费队列。
在一些具体实施例中，根据消费端需求对事件合集中的事件进行投递，生成事件消费队列。在一些具体实施例中，消费端包括其订阅的和自身业务相关的事件列表及事件列表中每个事件对应的消费类型。在一些具体实施例中，消费端所定义的消费类型包括主动消费事件和被动消费事件。在一些具体实施例中，对事件合集中的事件，判断其是否属于消费端的事件列表。在一些具体实施例中，判断在消费端事件列表中的事件的事件消费类型。在一些具体实施例中，在事件为主动消费事件的情况下，将事件投递到主动消费队列。在一些具体实施例中，在事件为被动消费事件的情况下，将事件投递到被动消费队列。
图3为本申请的基于数据库binlog的事件分发系统的整体框架示意图。
在一些具体实施例中，基于数据库binlog的事件分发系统包括业务数据中心、事件分发中心和消费端。在一些具体实施例中，业务数据中心包括一个或多个业务数据库，每个业务数据库包括与之对应的binlog日志。在一些具体实施例中，业务数据中心的多个binlog日志的格式存在不同。
在一些具体实施例中，事件分发中心接收业务数据中心发送的一个或多个业务数据库相对应的binlog日志。在一些具体实施例中，事件分发中心接收业务数据中心发送的不同格式的多个binlog日志，并统一binlog格式。在一些具体实施例中，筛选统一格式后的binlog日志中和消费端业务相关的部分，得到binlog记录。在一些具体实施例中，将binlog记录中按照事件转换规则转换为消费端所需的事件的格式，得到事件合集。
在一些具体实施例中，根据消费端需求对事件合集中的事件进行投递。在一些具体实施例中，消费端包括其订阅的和自身业务相关的事件列表及事件列表中每个事件对应的消费类型。在一些具体实施例中，消费端所定义的消费类型包括主动消费事件和被动消费事件。在一些具体实施例中，对事件合集中的事件，首先判断其是否属于消费端的事件列表。在一些具体实施例中，判断在消费端事件列表中的事件的事件消费类型。在一些具体实施例中，在事件为主动消费事件的情况下，将事件投递到当前消费端对应的主动消费队列。在一些具体实施例中，在事件为被动消费事件的情况下，将事件投递到当前消费端对应的被动消费队列。
在一些具体实施例中，消费端对主动消费事件的消费方式为，消费端发出消费请求，从主动消费队列中取出事件，进行消费。在一些具体实施例中，消费端对被动消费事件的消费方式为，事件分发中心通过http回调直接将被动消费队列中的事件发送给消费端，进行消费。在一些具体实施例中，事件分发中心通过http回调消费端包括基于http协议（Hyper Text Transfer Protocol，超文本传输协议）或https协议（Secure HypertextTransfer Protocol，安全超文本传输协议）通过消费端的API地址进行回调。
图4为本申请的基于数据库binlog的事件分发方法的一个具体实施例的步骤流程图。
在一些具体实施例中，不同的业务数据库提供的binlog日志的格式不同。在一些具体实施例中，事件分发中心接收业务数据中心发送的不同格式的多个binlog日志，并统一binlog格式。在一些具体实施例中，筛选统一格式后的binlog日志中和消费端业务相关的部分，得到binlog记录。在一些具体实施例中，将binlog记录中按照事件转换规则转换为消费端所需的事件的格式，得到事件合集。
在一些具体实施例中，binlog记录包括和业务数据库相关的字段。在一些具体实施例中，事件转换规则包括将binlog记录中的字段进行筛选，得到和当前事件相关的字段，将字段以重新命名和赋值的方式转换为事件格式。在一些具体实施例中，根据事件转换规则将一个binlog记录转换成多个事件，组成事件合集 。
在一些具体实施例中，依次判断事件合集中的每个事件是否属于消费端关心的事件列表。在一些具体实施例中，消费端为具体的消费者1。在一些具体实施例中，在事件属于消费者1订阅的事件列表的情况下，确定事件对消费者1而言的事件消费类型。在一些具体实施例中，在事件为消费者1的主动消费事件的情况下，将事件投递到消费者1的主动消费队列。在一些具体实施例中，在事件为消费者1的被动消费事件的情况下，将事件投递到消费者1的被动消费队列。在一些具体实施例中，消费者1对主动消费事件的消费方式为，消费者1发出消费请求，从主动消费队列中取出事件，进行消费。在一些具体实施例中，消费者1对被动消费事件的消费方式为，事件分发中心通过http回调直接将被动消费队列中的事件发送给消费者1，进行消费。
在一些具体实施例中，消费者1通过对事件中包含的信息内容做出响应进行事件消费。在一些具体实施例中，消费者1包括企业、部门、小组等任意具有获取数据库中数据需求且能够进行事件消费的对象。在一些具体实施例中，消费端包括多个消费者，每个消费者包括其订阅的事件列表及事件列表中事件的消费类型。
图5为本申请提供的一种电子设备的结构图，包括处理器以及存储器。存储器存储有计算机指令，当计算机指令被处理器执行时，使得处理器执行所述计算机指令从而实现如图1所示的方法以及细化方案。
应该理解，上述的装置实施例仅是示意性的，本发明披露的装置还可通过其它的方式实现。例如，上述实施例中所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
另外，若无特别说明，在本发明各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，所述处理器或芯片可以是任何适当的硬件处理器，比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明，所述片上缓存、片外内存、存储器可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-AccessMemory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方 HMC（Hybrid Memory Cube）等等。
所述集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本披露各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被多个处理器执行时，使得所述处理器执行如图1所示的方法以及细化方案。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种基于数据库binlog的事件分发方法，应用于事件分发中心，包括：
接收业务数据中心发送的一个或多个binlog日志；
根据所述binlog日志生成事件合集；
根据消费端提供的事件消费规则，基于所述事件合集生成事件消费队列。
2.如权利要求1所述的方法，其特征在于，所述事件消费规则包括所述消费端订阅的事件列表及所述事件列表中各个事件对应的事件消费类型，所述事件消费类型包括主动消费事件和被动消费事件。
3.如权利要求2所述的方法，其特征在于，所述根据消费端提供的事件消费规则，基于所述事件合集生成事件消费队列包括：
判断所述事件合集中的第一事件是否属于所述事件列表；
在所述第一事件属于所述事件列表的情况下，确定所述第一事件对应的事件消费类型；
在所述第一事件为所述主动消费事件的情况下，将所述第一事件投递到与所述消费端相对应的主动消费队列；
在所述第一事件为所述被动消费事件的情况下，将所述第一事件投递到与所述消费端相对应的被动消费队列；
重复上述过程直到完成对所述事件合集中的所有事件的判断。
4.如权利要求3所述的方法，其特征在于，还包括：
响应于所述消费端的主动事件消费请求，将所述主动消费队列中的事件发送到所述消费端。
5.如权利要求3所述的方法，其特征在于，还包括：
将所述被动消费队列中的事件通过http协议回调所述消费端。
6.如权利要求1所述的方法，其特征在于，还包括：
基于所述事件的来源binlog日志、事件投递记录和事件消费记录，生成事件日志。
7.如权利要求1所述的方法，其特征在于，所述根据所述binlog日志生成事件合集包括：
在多个所述binlog日志的格式不同的情况下，将所述不同格式的binlog日志转化成统一的预设格式；
筛选所述binlog日志中和消费端业务相关的部分，生成binlog业务记录；
根据事件转换规则，将所述binlog业务记录转换成事件合集。
8.如权利要求1所述的方法，其特征在于，所述事件消费队列的类型包括RocketMQ、RabbitMQ、Kafka。
9.一种基于数据库binlog的事件分发装置，包括binlog接收模块、事件生成模块、消费队列生成模块，其中：
所述binlog接收模块用于接收业务数据中心发送的一个或多个binlog日志；
所述事件生成模块用于根据所述binlog日志生成事件合集；
所述消费队列生成模块用于根据消费端提供的事件消费规则，基于所述事件合集生成事件消费队列。
10.一种基于数据库binlog的事件分发系统，包括业务数据中心、事件分发中心和消费端，所述业务数据中心包括一个或多个业务数据库，其中：
所述业务数据中心用于发送和业务数据库相对应的一个或多个binlog日志到事件分发中心；
所述事件分发中心用于执行如权利要求1-8任一者所述的方法；
所述消费端用于消费所述事件消费队列中的所述事件。
11.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8任一者所述的方法。
12.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任一者所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310552416.3A CN116303652A (zh) | 2023-05-17 | 2023-05-17 | 一种基于数据库binlog的事件分发方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310552416.3A CN116303652A (zh) | 2023-05-17 | 2023-05-17 | 一种基于数据库binlog的事件分发方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116303652A true CN116303652A (zh) | 2023-06-23 |
Family
ID=86781806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310552416.3A Pending CN116303652A (zh) | 2023-05-17 | 2023-05-17 | 一种基于数据库binlog的事件分发方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116303652A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090013935A (ko) * | 2007-08-03 | 2009-02-06 | 에스케이 텔레콤주식회사 | 콘텐츠 유형에 따른 콘텐츠 전송 제어 방법 및 그를 위한ｄｃｄ서버 |
| CN104092767A (zh) * | 2014-07-21 | 2014-10-08 | 北京邮电大学 | 一种增加消息队列模型的发布/订阅系统及其工作方法 |
| CN112579585A (zh) * | 2020-12-22 | 2021-03-30 | 京东数字科技控股股份有限公司 | 一种数据处理系统、方法及装置 |
| CN112632017A (zh) * | 2020-11-05 | 2021-04-09 | 北京乐学帮网络技术有限公司 | 数据库日志的处理方法、装置以及电子设备、存储介质 |
-
2023
- 2023-05-17 CN CN202310552416.3A patent/CN116303652A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090013935A (ko) * | 2007-08-03 | 2009-02-06 | 에스케이 텔레콤주식회사 | 콘텐츠 유형에 따른 콘텐츠 전송 제어 방법 및 그를 위한ｄｃｄ서버 |
| CN104092767A (zh) * | 2014-07-21 | 2014-10-08 | 北京邮电大学 | 一种增加消息队列模型的发布/订阅系统及其工作方法 |
| CN112632017A (zh) * | 2020-11-05 | 2021-04-09 | 北京乐学帮网络技术有限公司 | 数据库日志的处理方法、装置以及电子设备、存储介质 |
| CN112579585A (zh) * | 2020-12-22 | 2021-03-30 | 京东数字科技控股股份有限公司 | 一种数据处理系统、方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 汪洋;魏峻;王振宇;: "可扩展和可配置事件通知服务体系结构", 软件学报, no. 03, pages 638 - 648 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8886791B2 (en) | Generating alerts based on managed and unmanaged data | |
| CN107276970B (zh) | 一种解绑、绑定方法和装置 | |
| JP5986082B2 (ja) | 全アカウントの検索キーワードの推定値の返信 | |
| CN111782692B (zh) | 一种频率控制方法及装置 | |
| CN111858676A (zh) | 一种数据处理的方法及装置 | |
| CN115022318A (zh) | 一种基于微服务架构的消息发布方法及系统 | |
| CN116303652A (zh) | 一种基于数据库binlog的事件分发方法及系统 | |
| CN117151045A (zh) | 基于区块链的报表加工方法、装置及计算机设备 | |
| WO2016169420A1 (zh) | 一种业务请求执行状态的查询方法、装置及系统 | |
| CN113535420A (zh) | 一种消息处理方法和装置 | |
| CN111371621A (zh) | 基于混合云的数据交换方法、装置及计算机可读介质 | |
| CN103841001A (zh) | 社交网络信息处理方法及系统 | |
| US10331693B1 (en) | Filters and event schema for categorizing and processing streaming event data | |
| CN112615773B (zh) | 一种消息处理方法及系统 | |
| CN113992352A (zh) | 一种消息推送方法、装置、电子设备及存储介质 | |
| CN111274203B (zh) | 一种话单存储系统及方法 | |
| CN107665241B (zh) | 一种实时数据多维度去重方法和装置 | |
| CN112073395A (zh) | 一种文件分发方法和装置 | |
| CN112015790A (zh) | 一种数据处理的方法和装置 | |
| CN112073455B (zh) | 一种数据处理方法、装置、设备和存储介质 | |
| CN117424937A (zh) | 消息发送方法、装置、计算机设备、存储介质和产品 | |
| CN115115457B (zh) | 业务交易流水的处理方法、系统及介质 | |
| CN107547601A (zh) | 用于消息发送的方法及路由设备、服务器、系统 | |
| CN114398224A (zh) | 一种kafka集群运行状态的监控方法及装置 | |
| CN116915864A (zh) | 用户请求的处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |