CN112486986A - 一种Kafka中新增topic的消费数据自动持久化方法 - Google Patents

一种Kafka中新增topic的消费数据自动持久化方法 Download PDF

Info

Publication number
CN112486986A
CN112486986A CN202011350178.0A CN202011350178A CN112486986A CN 112486986 A CN112486986 A CN 112486986A CN 202011350178 A CN202011350178 A CN 202011350178A CN 112486986 A CN112486986 A CN 112486986A
Authority
CN
China
Prior art keywords
topic
kafka
newly added
consumption data
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011350178.0A
Other languages
English (en)
Inventor
庞文俊
陈继
张长志
廖开枫
李小超
伊晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingchuang Wangyu Hefei Technology Co ltd
Original Assignee
Qingchuang Wangyu Hefei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingchuang Wangyu Hefei Technology Co ltd filed Critical Qingchuang Wangyu Hefei Technology Co ltd
Priority to CN202011350178.0A priority Critical patent/CN112486986A/zh
Publication of CN112486986A publication Critical patent/CN112486986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种Kafka中新增topic的消费数据自动持久化方法，在管理页面提供新增/删除topic对应的数据库存储表的功能，实现topic及其对应的数据库存储表的灵活控制；新增topic的Consumer在消费该topic中的消息时，可以自动将消费数据保存至数据库对应的存储表中。

Description

一种Kafka中新增topic的消费数据自动持久化方法
技术领域
本发明涉及Kafka持久化技术领域，具体是一种Kafka中新增topic的消费数据自动持久化方法。
背景技术
Kafka是一种支持分布式消息存储和消费系统，其构架如图1所示。Kafka Cluster(集群)包含多个服务器，服务器节点称为Broker。Kafka以topic(类别)作为基础逻辑单元对消息进行存储、消费等操作。为了线性提高吞吐率，Kafka在物理上将topic分成多个Partition(分区)，每个Partition通过创建一定数目的副本并分散存储在不同Broker上以支持容错。Kafka通过集成分布式协调服务ZooKeeper实现元数据存储以及集群管理等功能，从而支持集群的动态水平扩展。基于Kafka的消息定发布订阅服务系统，注册通过的发布方创建topic，订阅方订阅该topic，发布方往该topic中发布消息。
现有的Kafka数据持久化，是在项目配置文件中预先设定topic列表，并在数据库中创建好对应的存储表。Producer向列表中的某一topic中发布消息后，Consumer消费该消息的消费数据能够保存到对应的存储表中。
针对新增的topic，只能人工修改项目配置文件并创建存储表，才能使得Consumer消费该topic中消息的消费数据得以保存到对应的存储表中，即不能灵活控制topic及其对应的数据库存储表。
发明内容
针对现有Kafka持久化技术不能自动对新增topic进行持久化的技术缺陷，本发明提供一种Kafka中新增topic的消费数据自动持久化方法。
本发明保护一种Kafka中新增topic的消费数据自动持久化方法，包括以下步骤：
步骤1，人工在Kafka服务后台提供的管理页面上创建表及配置表中字段；
步骤2，Kafka服务后台根据管理页面上填写的表名向Kafka集群发布topic创建指令；
步骤3，Kafka集群根据topic创建指令创建topic，数据库中自动生成对应存储表；
步骤4，Kafka服务后台针对新增topic创建对应的Consumer；
步骤5，当Kafka服务后台接收归属于该新增topic的消息时，根据消息来源创建对应的Producer，并将消息发布到其该新增topic中；
步骤6，该新增topic的Consumer监听到消息后，消费消息，产生消费数据；
步骤7，Kafka服务后台保存该消费数据，并将其存储到该新增topic对应的存储表中。
优选的，管理页面提供除提供创建topic、创建表及配置表中字段的接口外，还提供删除topic及其对应数据库存储表的接口。
本发明还保护一种基于上述Kafka中新增topic的消费数据自动持久化方法的消息定发布订阅服务系统。
本发明在管理页面提供新增/删除topic对应的数据库存储表的功能，实现topic及其对应的数据库存储表的灵活控制；新增topic的Consumer在消费该topic中的消息时，可以自动将消费数据保存至数据库对应的存储表中。
附图说明
图1为Kafka中新增topic的消费数据自动持久化方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
一种Kafka中新增topic的消费数据自动持久化方法，如图1所示，包括以下步骤：
步骤1，人工在Kafka服务后台提供的管理页面上创建表及配置表中字段；
步骤2，Kafka服务后台根据管理页面上填写的表名向Kafka集群发布topic创建指令；
步骤3，Kafka集群根据topic创建指令创建topic，数据库中自动生成对应存储表；
步骤4，Kafka服务后台针对新增topic创建对应的Consumer；
步骤5，当Kafka服务后台接收归属于该新增topic的消息时，根据消息来源创建对应的Producer，并将消息发布到其该新增topic中；
步骤6，该新增topic的Consumer监听到消息后，消费消息，产生消费数据；
步骤7，Kafka服务后台保存该消费数据，并将其存储到该新增topic对应的存储表中。
为了更加灵活地控制topic及其对应的数据库存储表，可以在管理页面提供新增和删除topic和对应数据库存储表的接口。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (3)

1.一种Kafka中新增topic的消费数据自动持久化方法，其特征在于，包括以下步骤：
步骤1，人工在Kafka服务后台提供的管理页面上创建表及配置表中字段；
步骤2，Kafka服务后台根据管理页面上填写的表名向Kafka集群发布topic创建指令；
步骤3，Kafka集群根据topic创建指令创建topic，数据库中自动生成对应存储表；
步骤4，Kafka服务后台针对新增topic创建对应的Consumer；
步骤5，当Kafka服务后台接收归属于该新增topic的消息时，根据消息来源创建对应的Producer，并将消息发布到其该新增topic中；
步骤6，该新增topic的Consumer监听到消息后，消费消息，产生消费数据；
步骤7，Kafka服务后台保存该消费数据，并将其存储到该新增topic对应的存储表中。
2.根据权利要求1所述的Kafka中新增topic的消费数据自动持久化方法，其特征在于，管理页面提供删除topic及其对应数据库存储表的接口。
3.一种基于权利要求1或2所述的Kafka中新增topic的消费数据自动持久化方法的消息定发布订阅服务系统。
CN202011350178.0A 2020-11-26 2020-11-26 一种Kafka中新增topic的消费数据自动持久化方法 Pending CN112486986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011350178.0A CN112486986A (zh) 2020-11-26 2020-11-26 一种Kafka中新增topic的消费数据自动持久化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011350178.0A CN112486986A (zh) 2020-11-26 2020-11-26 一种Kafka中新增topic的消费数据自动持久化方法

Publications (1)

Publication Number Publication Date
CN112486986A true CN112486986A (zh) 2021-03-12

Family

ID=74935344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011350178.0A Pending CN112486986A (zh) 2020-11-26 2020-11-26 一种Kafka中新增topic的消费数据自动持久化方法

Country Status (1)

Country Link
CN (1) CN112486986A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255628A (zh) * 2016-12-29 2018-07-06 北京国双科技有限公司 一种数据处理方法及装置
US20200125572A1 (en) * 2018-10-19 2020-04-23 Oracle International Corporation Integrating kafka data-in-motion with data-at-rest tables
CN111221663A (zh) * 2019-11-21 2020-06-02 苏州浪潮智能科技有限公司 一种消息数据处理方法、装置、设备及可读存储介质
CN111400407A (zh) * 2020-04-10 2020-07-10 浙江大华技术股份有限公司 数据的同步方法及装置、存储介质及电子装置
CN111818112A (zh) * 2019-04-11 2020-10-23 中国移动通信集团四川有限公司 一种基于Kafka系统的发送消息的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255628A (zh) * 2016-12-29 2018-07-06 北京国双科技有限公司 一种数据处理方法及装置
US20200125572A1 (en) * 2018-10-19 2020-04-23 Oracle International Corporation Integrating kafka data-in-motion with data-at-rest tables
CN111818112A (zh) * 2019-04-11 2020-10-23 中国移动通信集团四川有限公司 一种基于Kafka系统的发送消息的方法和装置
CN111221663A (zh) * 2019-11-21 2020-06-02 苏州浪潮智能科技有限公司 一种消息数据处理方法、装置、设备及可读存储介质
CN111400407A (zh) * 2020-04-10 2020-07-10 浙江大华技术股份有限公司 数据的同步方法及装置、存储介质及电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张飞: "一种基于Kafka的数据采集与实时处理系统的设计与实现", 《中国优秀硕士学位论文全文数据库(工程科技Ⅱ辑)》 *

Similar Documents

Publication Publication Date Title
CN108536761B (zh) 报表数据查询方法及服务器
US7937488B2 (en) Multimedia scheduler
CN108874558B (zh) 分布式事务的消息订阅方法、电子装置及可读存储介质
US10331625B2 (en) Managing sequential data store
CN102333029B (zh) 一种服务器集群系统中的路由方法
CN109189841B (zh) 一种多数据源访问方法及系统
CN111078396B (zh) 一种基于多任务实例的分布式数据接入方法和系统
CN102857578B (zh) 一种网络硬盘的文件上传方法、系统及网盘客户端
CN111818112A (zh) 一种基于Kafka系统的发送消息的方法和装置
CN103034540B (zh) 分布式消息系统及其设备和协调方法
CN103927331A (zh) 数据查询方法、装置及系统
CN101860493A (zh) 为客户端分配应用服务器地址的方法、服务器及系统
CN108491163B (zh) 一种大数据处理方法、装置和存储介质
CN102436473A (zh) 菜单管理装置和菜单管理方法
CN104750690A (zh) 一种查询处理方法、装置及系统
CN105242983A (zh) 一种数据存储方法以及一种数据存储管理服务器
CN111966677A (zh) 数据报表的处理方法、装置、电子设备及存储介质
CN104182487A (zh) 一种支持多种存储方式的统一存储方法
CN110659124A (zh) 一种消息处理方法和装置
CN110555038A (zh) 一种数据处理系统、方法及装置
CN112711512A (zh) 一种Prometheus监控方法、装置及设备
CN114827171B (zh) 信息同步方法、装置、计算机设备和存储介质
US20190147096A1 (en) Systems and methods for interactive analysis
KR101511098B1 (ko) 분산된 컨테이너들을 사용하여 데이터를 관리하는 시스템 및 방법
CN103248636A (zh) 离线下载的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210312

RJ01 Rejection of invention patent application after publication