CN111913821B

CN111913821B - 一种实现跨数据源实时数据流生产消费的方法

Info

Publication number: CN111913821B
Application number: CN202010822880.6A
Authority: CN
Inventors: 鲁建华; 李耀; 田骏; 石龙
Original assignee: Wuhan Zhongbang Bank Co Ltd
Current assignee: Wuhan Zhongbang Bank Co Ltd
Priority date: 2020-08-17
Filing date: 2020-08-17
Publication date: 2021-07-16
Anticipated expiration: 2040-08-17
Also published as: CN111913821A

Abstract

本发明涉及信息技术领域，提供了一种实现跨数据源实时数据流生产消费的方法。目的在于解决现有的通常一个consumer并不需要同一消息队列中的所有数据，而是要消费多个消息队列中的部分数据，因为消息队列中的数据只能顺序消费，就会导致consumer会消费出不需要的数据，一方面造成了资源浪费，另一方面带来了数据安全的问题。主要方案包括步骤1：统一数据生产者producer的数据标准，增加数据类别标识符；步骤2：开发消息队列过滤板，对消息队列中的数据进行筛选分类，实现对消息对列中的数据标识，得到每一条数据所对应的数据源地址、库名、表名；步骤3：开发数据分发机制功能，并收集consumer的数据消费需求，根据需求进行数据配置化分发。

Description

一种实现跨数据源实时数据流生产消费的方法

技术领域

本发明涉及信息技术领域，提供了一种实现跨数据源实时数据流生产消费的方法。

背景技术

为了更好的理解本提案，需要了解一下基本技术：

消息队列是一种进程之间通讯方式，它有着一个显著的特点：异步处理，它允许用户把一个消息放入队列，但并不立即处理它，在需要的时候再去队列中消费出来，然后去处理它们。因此为了保证数据一致性，消息队列采用FIFO先进先出的特性，来保证消息的顺序性。

在日常运用中，通常一个consumer并不需要同一消息队列中的所有数据，而是要消费多个消息队列中的部分数据，因为消息队列中的数据只能顺序消费，就会导致consumer会消费出不需要的数据，一方面造成了资源浪费，另一方面带来了数据安全问题。

发明内容

本发明的目的在于解决现有的通常一个consumer并不需要同一消息队列中的所有数据，而是要消费多个消息队列中的部分数据，因为消息队列中的数据只能顺序消费，就会导致consumer会消费出不需要的数据，一方面造成了资源浪费，另一方面带来了数据安全的问题。

本发明为解决上述技术问题，采用以下技术方案：

一种实现跨数据源实时数据流生产消费的方法，其特征在于，包括以下步骤：

步骤1：统一数据生产者producer的数据标准，增加数据类别标识符；

步骤2：开发消息队列过滤板，对消息队列中的数据进行筛选分类，实现对消息对列中的数据标识，得到每一条数据所对应的数据源地址、库名、表名；

步骤3：开发数据分发机制功能，并收集consumer的数据消费需求，根据需求进行数据配置化分发。

上述技术方案中，步骤1，具体包含以下步骤：

步骤1.1：收集producer信息，主要是通过接入消息队列的数据库信息，确定需要接入的数据，所述的数据库信息至少包含数据库地址、端口、数据库名、数据库表名；

步骤1.2：将数据库接入消息队列，每一条送入消息队列中的数据，带上数据分类标识，即每个数据库对应一个kafka的topic，其中标识可以分辨出上述步骤1.1中的数据库信息。

作为具体的示例，数据库接入消息队列可以使用OGG实现，OGG可以解析关系型数据库的归档日志，归档日志是记录数据库表的更改记录，经过OGG解析后可将归档日志转换成可读的数据流；消息队列可以使用kafka实现，kafka接入OGG产生的数据流。这样配置后，每个数据库对应一个kafka的topic，实时数据流中的每一条数据都包含有数据库的表名。

上述技术方案中，上述步骤2，具体包含以下步骤：

步骤2.1：开发消息队列过滤板程序，具体示例可以用java实现，方式如下：

步骤2.1.1：在java程序中实现消息队列消费类，连接kafka服务器，从相应的消息队列中消费数据；

步骤2.1.2：分析消费出来的数据，获取每一条的数据的标识信息：表名，然后根据topic的名称，获取消息队列对应的数据源信息：数据库地址、端口、数据库名；

步骤2.1.3：根据消息队列的名称，即示例中kafka的topic名称，再根据ogg的配置信息，可以获取topic对应的数据源信息：数据库地址、端口、数据库名；

步骤2.2：过滤板程序接入kafka，实现消息队列数据分类。

上述技术方案中，上述步骤3，具体包含以下步骤：

步骤3.1：在上述步骤2程序中增加读取consumer消费配置信息功能，信息至少包含consumer需要消费的数据库名及表名；

步骤3.2：根据步骤3.1中的配置信息，对分类后的实时数据进行筛选，将筛选后的数据发送到新的消息队列中；

步骤3.3：将新的消息队列接入到对应的consumer，实现消息队列定制化消费。

上述技术方案中，步骤1.2中将数据库接入消息队列是指通过数据库归档日志解析工具，将数据库归档日志解析成可读字符，并转换成实时数据流，发送到消息队列中。

上述技术方案中，步骤2.2中对消息对列中的数据标识是指得到每一条数据所对应的数据源地址、库名、表名。

因为本发明采用上述技术方案，因此具备以下有益效果：

本提案通过在消息队列中增加一个应用程序去过滤实时数据流数据，统一消费原有的实时数据流，可以降低消息队列的连接并发数。第二步根据consumer的消费信息，对实时数据流进行分类筛选，将有效的数据重新发送到新的消息队列中，无效的数据直接过滤掉，一方面可以降低数据泄露风险，另一方面分担原有的消息队列压力。

附图说明

图1为本发明流程示意图；

图2为消息队列数据生产消费模式。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述技术方案中，步骤1，具体包含以下步骤：

步骤1.2：将数据库接入消息队列，每一条送入消息队列中的数据，带上数据分类标识，其中标识可以分辨出上述步骤1.1中的数据库信息。

上述技术方案中，上述步骤2，具体包含以下步骤：

步骤2.2：过滤板程序接入kafka，实现消息队列数据分类。

上述技术方案中，上述步骤3，具体包含以下步骤：

步骤3.1：在上述步骤2程序中增加读取consumer消费配置信息功能，信息至少包含consumer需要消费的数据库名及表名，配置信息包含consumer需要消费的数据所对应的数据库地址、端口、数据库名、表名；

Claims

1.一种实现跨数据源实时数据流生产消费的方法，其特征在于，包括以下步骤：

步骤3：开发数据分发机制功能，并收集consumer的数据消费需求，根据需求进行数据配置化分发；

步骤1，具体包含以下步骤：

步骤1.1：收集producer信息，通过接入消息队列的数据库信息，确定需要接入的数据，所述的数据库信息至少包含数据库地址、端口、数据库名、数据库表名；

步骤1.2：将数据库接入消息队列，每一条送入消息队列中的数据，带上数据分类标识，得到每个数据库对应的消息队列的名称，其中标识可以分辨出上述步骤1.1中的数据库信息；

上述步骤2，具体包含以下步骤：

步骤2.1：开发消息队列过滤板程序：

步骤2.1.2：解析消费出来的数据，消费的数据格式为json格式字符串，获取json串中键tablename对应的值，即该条数据对应的数据库表名；

步骤2.1.3：根据消息队列的名称，再根据ogg的配置信息，可以获取消息队列的名称对应的数据源信息：数据库地址、端口、数据库名；

步骤2.2：过滤板程序接入kafka，实现消息队列数据分类；

上述步骤3，具体包含以下步骤：

步骤3.3：将新的消息队列接入到对应的consumer，实现消息队列定制化消费；

步骤1.2中将数据库接入消息队列是指通过数据库归档日志解析工具，将数据库归档日志解析成可读字符，并转换成实时数据流，发送到消息队列中；

步骤2.2中实现消息队列数据分类，是指实现对消息对列中的数据标识，指得到每一条数据所对应的数据源地址、库名、表名。