CN113961329A - 基于db轻量级kafka管理及定时任务队列系统 - Google Patents

基于db轻量级kafka管理及定时任务队列系统 Download PDF

Info

Publication number
CN113961329A
CN113961329A CN202111297966.2A CN202111297966A CN113961329A CN 113961329 A CN113961329 A CN 113961329A CN 202111297966 A CN202111297966 A CN 202111297966A CN 113961329 A CN113961329 A CN 113961329A
Authority
CN
China
Prior art keywords
kafka
cluster
toolkit
service
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111297966.2A
Other languages
English (en)
Inventor
黄海平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kuntong Intelligent Storage Technology Co ltd
Original Assignee
Shenzhen Kuntong Intelligent Storage Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kuntong Intelligent Storage Technology Co ltd filed Critical Shenzhen Kuntong Intelligent Storage Technology Co ltd
Priority to CN202111297966.2A priority Critical patent/CN113961329A/zh
Publication of CN113961329A publication Critical patent/CN113961329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G06F9/4887—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues involving deadlines, e.g. rate based, periodic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于DB轻量级KAFKA管理及定时任务队列系统，kafka工具包，微服务消息生产者集群、微服务消息消费者集群、kafka信息管理服务集群、kakfa定时延迟任务服务集群和自动预警平台；kafka工具包插入到移动终端，用户请求启动kafka工具包的同时，微服务消息生产集群和微服务消息消费者集群也同时启动；并且在微服务消息生产集群和微服务消息生产者集群两者启动之前，kafka工具包向kafka信息管理服务集群申请校验主题；kafka信息管理服务集群通过kafka工具包的校验接口，利用超文本传输协议调用校验接口并验证使用的主题是否在kafka集群信息库中，如果不在则该主题为非法，kafka工具包将被禁止启动，若校验成功，则kafka工具包则可正常使用。

Description

基于DB轻量级KAFKA管理及定时任务队列系统
技术领域
本发明涉及互联网领域，具体涉及一种基于DB轻量级KAFKA管理及定时任务队列系统。
背景技术
目前随着互联网技术的发展，软件的使用频率越来越高，软件的复杂性越来越大，使用微服务开发系统的场景越来越多。微服务的开发过程中，服务之间的通信、消息中间件的使用越来越频繁，其中kafka的使用最多。但是对kafka的主题统一管理却没有比较好的方案，同时kafka的消息类型比较单一，不支持延迟消息，对特殊需要做延迟的业务影响较大。因此需要一整套管理kafka主题、kafka延迟功能的系统，同时为了使用kafka的方便，需要一个可插拔使用的kakfa工具包，以此提升kafka的使用效益。
发明内容
为解决现有技术存在的不足，本发明提供了一种基于DB轻量级KAFKA管理及定时任务队列系统。
本发明的技术方案为：一种基于DB轻量级KAFKA管理及定时任务队列系统， kafka工具包，微服务消息生产者集群、微服务消息消费者集群、kafka信息管理服务集群、kakfa定时延迟任务服务集群和自动预警平台；kafka工具包插入到移动终端，用户请求启动kafka工具包的同时，微服务消息生产集群和微服务消息消费者集群也同时启动；并且在微服务消息生产集群和微服务消息生产者集群两者启动之前，kafka工具包向kafka信息管理服务集群申请校验主题；kafka信息管理服务集群通过kafka工具包的校验接口，利用超文本传输协议调用校验接口并验证使用的主题是否在kafka集群信息库中，如果不在则该主题为非法，kafka工具包将被禁止启动，若校验成功，则kafka工具包则可正常使用。
优选的技术方案：kakfa定时延迟任务服务集群是接收其他业务服务通过kafka工具包发送的延迟定时消息；kakfa定时延迟任务服务集群接收消息后将数据保存延迟数据库内。
优选的技术方案：延伸数据库内部有个无限循环器，通过当前时间与内置时间比对算法，查询是否有到期的延迟定时消息，如果有延迟定时消息则查询相应的数据并将该数据重新发回至kafka队列；这样解决了kafka没有延迟消息功能的弊端，同时异常消息也可以通过保存数据库进行统计。
优选的技术方案：自动预警平台接收来自各个业务服务的异常数据，然后将异常数据保存异常数据库内，自动预警平台中的异常分类单元管理各种类型的异常数据，异常分类单元内并存储有指定的开发人员信息，开发人员对每种异常及性能阀值配置，异常数据达到阀值还可发送邮件预警通知或者第三方通知。
优选的技术方案：自动预警平台中内置自动查询器，实现异常信息的多条件查询，并实时发送到开发着邮箱。
优选的技术方案：kafka工具包内置若干个应用程序接口；kafka工具包可发送同步、异步的kafka消息； kafka工具包内置异常主题单元，异常主题单元内存储相应的的定制化异常消息主题。
优选的技术方案：kafka信息管理服务集群内设有kafka主题信息选项，创建主题选项、删除主题选项、更新主题选项和分配权限选项；分配权限选项对kafka主题信息选项，创建主题选项、删除主题选项、更新主题选项的每个主题的业务用途、负责人、使用服务具有管理权限。
本发明所达到的有益效果为：
1. 使用kafka独立可插拔kafka工具包，发送和拉取kafka队列消息数据，同时内置异常消息主题便于一键发送异常消息，开发者需要简单配置即可；
2.kafka信息管理服务可用于新增、删除、更新kafka主题，每个主题有唯一负责人，所使用的业务范围，同时提供接口供kakfa工具包调用校验主题是安全的且在管控范围内；
3.基于DB的轻量级kakfa定时延迟任务服务可用于接收kafka工具包上传的异常数据，并通过工具包内置的异常消息主题拉取异常消息存入数据库；然后服务内置无限循环器从数据库查询已到期的异常数据，查到后会将该消息重新发回至kafka；
4.自动预警平台接收kafka信息管理服务、基于DB的轻量级kakfa定时延迟任务服务的程序异常数据，并将异常数据存入数据库，每种异常可指定负责人解决，同时对不同异常进行统计，可配置异常通知阀值数，达到阀值可自动将异常信息以邮件形式发送到开发者邮箱。
附图说明
图1是本发明原理示意图。
具体实施方式
为便于本领域的技术人员理解本发明，下面结合附图说明本发明的具体实施方式。附图中给出了本发明的较佳的实施例；但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例；相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。
本发明公开了一种基于DB轻量级KAFKA管理及定时任务队列系统， kafka工具包，微服务消息生产者集群、微服务消息消费者集群、kafka信息管理服务集群、kakfa定时延迟任务服务集群和自动预警平台；kafka工具包插入到移动终端，用户请求启动kafka工具包的同时，微服务消息生产集群和微服务消息消费者集群也同时启动；并且在微服务消息生产集群和微服务消息生产者集群两者启动之前，kafka工具包向kafka信息管理服务集群申请校验主题；kafka信息管理服务集群通过kafka工具包的校验接口，利用超文本传输协议调用校验接口并验证使用的主题是否在kafka集群信息库中，如果不在则该主题为非法，kafka工具包将被禁止启动，若校验成功，则kafka工具包则可正常使用。
优选的技术方案：kakfa定时延迟任务服务集群是接收其他业务服务通过kafka工具包发送的延迟定时消息；kakfa定时延迟任务服务集群接收消息后将数据保存延迟数据库内。
优选的技术方案：延伸数据库内部有个无限循环器，通过当前时间与内置时间比对算法，查询是否有到期的延迟定时消息，如果有延迟定时消息则查询相应的数据并将该数据重新发回至kafka队列；你这样解决了kafka没有延迟消息功能的弊端，同时异常消息也可以通过保存数据库进行统计。
优选的技术方案：自动预警平台接收来自各个业务服务的异常数据，然后将异常数据保存异常数据库内，自动预警平台中的异常分类单元管理各种类型的异常数据，异常分类单元内并存储有指定的开发人员信息，开发人员对每种异常及性能阀值配置，异常数据达到阀值还可发送邮件预警通知或者第三方通知。
优选的技术方案：自动预警平台中内置自动查询器，实现异常信息的多条件查询，并实时发送到开发着邮箱。
优选的技术方案：kafka工具包内置若干个应用程序接口；kafka工具包可发送同步、异步的kafka消息； kafka工具包内置异常主题单元，异常主题单元内存储相应的的定制化异常消息主题。
优选的技术方案：kafka信息管理服务集群内设有kafka主题信息选项，创建主题选项、删除主题选项、更新主题选项和分配权限选项；分配权限选项对kafka主题信息选项，创建主题选项、删除主题选项、更新主题选项的每个主题的业务用途、负责人、使用服务具有管理权限。
实施例1:现有的kafka的主题统一管理系统，首先用户发出请求，通过微服务消息生产者集群向kafka集群发送需求消息，而微服务消息消费者集群获取kafka集群队列中微服务消息生产者集群相应的需求信息，并消费相应的数据信息。
实施例2与实施例1不同之后：在终端设备上插入kafka工具包，当微服务消息生产者集群向kafka集群发送需求消息之前，需要向kafka信息管理服务集群申请校验，校验微服务消息生产者集群的生产信息是否在kafka信息管理服务集群内；如果不是，则kafka工具包将被禁止启动，微服务消息生产者集群发送异常主题消息给kafka集群，并且发送预警通知消息给自动预警平台；如果是，则将微服务消息生产者集群的消息发送给kafka集群。
进一步，校验微服务消息生产者集群的生产信息包括用户信息（用户的权限、用户的基本信息和生产品的信息），而kafka信息管理服务集群专门用于管理kafka主题信息，创建主题、删除主题、更新主题，对每个主题的业务用途、负责人、使用服务等可分配权限；校验用户信息是否都在kafka信息管理服务集群的所有业务、职权范围内；
进一步， kafka工具包由开放校验接口，kafka工具包内部通过http（超文本传输协议）调用开放校验接口，验证开发者开发的kafka工具包使用的主题是否在kafka信息库中，若不在则该kafka工具包的主题是非法，kafka工具包将被禁止启动，若校验成功，则kafka工具包则可正常使用，同时kafka信息库会记录每个服务校验记录用于统计分析 。
实施例3：当微服务消息消费者集群向kafka集群发送需求消息之前，同样需要向kafka信息管理服务集群申请校验，校验微服务消息消费者集群的消费信息是否在kafka信息管理服务集群内；如果不是，则kafka工具包将被禁止启动，校验微服务消息消费者集发送预警通知消息给自动预警平台；如果是，则微服务消息消费者集群通过kafka集群获得相对应的需求消息。
实施例4与实施例1、2和3不同之处：基于DB的轻量级kakfa管理及定时任务队列系统，还设有基于DB的轻量级kakfa定时延迟任务服务集群；当kafka集群中的异常主题消息经过kafka工具包发送给基于DB的轻量级kakfa定时延迟任务服务集群，基于DB的轻量级kakfa定时延迟任务服务集群接收其他业务服务通过kafka工具包发送的延迟定时消息，接收消息后将数据保存延迟数据库，定时延迟任务服务集群有个无限循环器，通过内置时间比对算法，查询是否有到期的延迟定时消息，有则查询数据并将该数据重新发回至kafka队列。这样解决了kafka没有延迟消息功能的弊端，同时异常消息也可以通过保存数据库进行统计。
自动预警平台接收来自各个业务服务的异常数据，可通过API接口和kafka工具包等方式接收，然后将异常数据保存数据库，同时每种异常分类在自动预警平台负责管理，并指定了开发人员负责，并可对每种异常及性能阀值配置，多维度的数据库统计展示，达到阀值还可发送邮件预警通知或者微信、钉钉等第三方通知等。
极大方便了开发人员对kafka消息中间件的使用，提供了简单配置即可一键启动消息生产者和消费者，同时kafka工具包内置主题检查机制，在消息生产者和消费者启动前校验主题信息的安全性，以防业务数据的混乱使用，保证了数据安全；Kafka信息管理服务集群提供了统一kafka信息管理功能，校验主题，记录kafka的使用频次、使用开发者、使用业务等，杜绝了Kafka的滥用情况，清晰的管理了当前正在使用的主题并实现了可视化；基于DB的轻量级kakfa定时延迟任务服务解决了kafka不支持延迟定时消息的弊端，通过kafka工具包内置定时延迟主题，可一键发送异常消息至该服务（kakfa定时延迟任务服务），异常数据被保存，通过内置无限循环器精准查询到期异常消息，并重新发回至kafka；自动预警平台可接收各服务的程序异常信息，集中管理了各种异常分类和异常数据，通过阀值配置和多维度统计，内置自动查询器，实现异常信息的多条件查询，并实时发送到开发着邮箱。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定；任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于DB轻量级KAFKA管理及定时任务队列系统，其特征在于： kafka工具包，微服务消息生产者集群、微服务消息消费者集群、kafka信息管理服务集群、kakfa定时延迟任务服务集群和自动预警平台；kafka工具包插入到移动终端，用户请求启动kafka工具包的同时，微服务消息生产集群和微服务消息消费者集群也同时启动；并且在微服务消息生产集群和微服务消息生产者集群两者启动之前，kafka工具包向kafka信息管理服务集群申请校验主题；kafka信息管理服务集群通过kafka工具包的校验接口，利用超文本传输协议调用校验接口并验证使用的主题是否在kafka集群信息库中，如果不在则该主题为非法，kafka工具包将被禁止启动，若校验成功，则kafka工具包则可正常使用。
2.根据权利要求1所述的一种基于DB轻量级KAFKA管理及定时任务队列系统，其特征在于：kakfa定时延迟任务服务集群是接收其他业务服务通过kafka工具包发送的延迟定时消息；kakfa定时延迟任务服务集群接收消息后将数据保存延迟数据库内。
3.根据权利要求2所述的一种基于DB轻量级KAFKA管理及定时任务队列系统，其特征在于：延伸数据库内部有个无限循环器，通过当前时间与内置时间比对算法，查询是否有到期的延迟定时消息，如果有延迟定时消息则查询相应的数据并将该数据重新发回至kafka队列，
这样解决了kafka没有延迟消息功能的弊端，同时异常消息也可以通过保存数据库进行统计。
4.根据权利要求1所述的一种基于DB轻量级KAFKA管理及定时任务队列系统，其特征在于：自动预警平台接收来自各个业务服务的异常数据，然后将异常数据保存异常数据库内，自动预警平台中的异常分类单元管理各种类型的异常数据，异常分类单元内并存储有指定的开发人员信息，开发人员对每种异常及性能阀值配置，异常数据达到阀值还可发送邮件预警通知或者第三方通知。
5.根据权利要求1所述的一种基于DB轻量级KAFKA管理及定时任务队列系统，其特征在于：自动预警平台中内置自动查询器，实现异常信息的多条件查询，并实时发送到开发着邮箱。
6.根据权利要求1所述的一种基于DB轻量级KAFKA管理及定时任务队列系统，其特征在于：kafka工具包内置若干个应用程序接口；kafka工具包可发送同步、异步的kafka消息；kafka工具包内置异常主题单元，异常主题单元内存储相应的的定制化异常消息主题。
7.根据权利要求1所述的一种基于DB轻量级KAFKA管理及定时任务队列系统，其特征在于：kafka信息管理服务集群内设有kafka主题信息选项，创建主题选项、删除主题选项、更新主题选项和分配权限选项；分配权限选项对kafka主题信息选项，创建主题选项、删除主题选项、更新主题选项的每个主题的业务用途、负责人、使用服务具有管理权限。
CN202111297966.2A 2021-11-04 2021-11-04 基于db轻量级kafka管理及定时任务队列系统 Pending CN113961329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111297966.2A CN113961329A (zh) 2021-11-04 2021-11-04 基于db轻量级kafka管理及定时任务队列系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111297966.2A CN113961329A (zh) 2021-11-04 2021-11-04 基于db轻量级kafka管理及定时任务队列系统

Publications (1)

Publication Number Publication Date
CN113961329A true CN113961329A (zh) 2022-01-21

Family

ID=79469047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111297966.2A Pending CN113961329A (zh) 2021-11-04 2021-11-04 基于db轻量级kafka管理及定时任务队列系统

Country Status (1)

Country Link
CN (1) CN113961329A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979178A (zh) * 2022-05-12 2022-08-30 中国人民解放军陆军装甲兵学院 一种基于消息队列的消息流向控制平台及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170310628A1 (en) * 2016-04-21 2017-10-26 Confluent, Inc. Distributed message queue stream verification
CN109451072A (zh) * 2018-12-29 2019-03-08 广东电网有限责任公司 一种基于Kafka的消息缓存系统和方法
CN109525593A (zh) * 2018-12-20 2019-03-26 中科曙光国际信息产业有限公司 一种对hadoop大数据平台集中安全管控系统及方法
CN111555957A (zh) * 2020-03-26 2020-08-18 孩子王儿童用品股份有限公司 一种基于Kafka的同步消息服务系统及实现方法
CN113190571A (zh) * 2021-05-24 2021-07-30 深圳市坤同智能仓储科技有限公司 一种基于消息采集和多维度分布的系统
CN113315750A (zh) * 2021-04-15 2021-08-27 新华三大数据技术有限公司 一种Kafka消息发布方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170310628A1 (en) * 2016-04-21 2017-10-26 Confluent, Inc. Distributed message queue stream verification
CN109525593A (zh) * 2018-12-20 2019-03-26 中科曙光国际信息产业有限公司 一种对hadoop大数据平台集中安全管控系统及方法
CN109451072A (zh) * 2018-12-29 2019-03-08 广东电网有限责任公司 一种基于Kafka的消息缓存系统和方法
CN111555957A (zh) * 2020-03-26 2020-08-18 孩子王儿童用品股份有限公司 一种基于Kafka的同步消息服务系统及实现方法
CN113315750A (zh) * 2021-04-15 2021-08-27 新华三大数据技术有限公司 一种Kafka消息发布方法、装置及存储介质
CN113190571A (zh) * 2021-05-24 2021-07-30 深圳市坤同智能仓储科技有限公司 一种基于消息采集和多维度分布的系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丰德恩;唐卫;王慕华;惠建忠;郝江波;王澎涛;李雁鹏;: "基于WebGIS的气象服务产品自动加工关键技术", 气象与环境科学, no. 01, 15 February 2020 (2020-02-15) *
梁毅;侯颖;陈诚;金翊;: "面向大数据流式计算的任务管理技术综述", 计算机工程与科学, no. 02, 15 February 2017 (2017-02-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979178A (zh) * 2022-05-12 2022-08-30 中国人民解放军陆军装甲兵学院 一种基于消息队列的消息流向控制平台及方法
CN114979178B (zh) * 2022-05-12 2023-11-10 中国人民解放军陆军装甲兵学院 一种基于消息队列的消息流向控制平台及方法

Similar Documents

Publication Publication Date Title
US9418132B2 (en) System for an open architecture deployment with centralized synchronization
US8001150B2 (en) Device management method using nodes having additional attribute and device management client thereof
CN101711386B (zh) 在外部和/或本地电子邮件服务器和/或无线设备之间同步电子邮件消息
US6775660B2 (en) User-oriented method and system for database query
US8065318B2 (en) Systems and methods for managing application configuration
CN112040429B (zh) 一种基于分布式存储的短信管理系统及方法
CN100421431C (zh) 一种实现即时消息通信的方法
CN109408132A (zh) 一种配置文件处理方法及服务器、用户终端、存储介质
CN1459207A (zh) 通过空中的移动站管理方法
CN102291446A (zh) 向应用程序通知状态变化的灵活体系结构
CN106101220A (zh) 信息同步方法及装置、信息同步处理系统
CN109639824A (zh) 一种消息推送管理系统及方法
WO2009042316A1 (en) Remote control of computing devices via two disparate networks
CN105930249B (zh) 应用监控方法和装置
CN112231106B (zh) Redis集群的访问数据处理方法及装置
CN113961329A (zh) 基于db轻量级kafka管理及定时任务队列系统
CN116866427B (zh) 一种异构消息统一推送方法及系统
CN113783913A (zh) 一种消息推送管理方法和装置
CN117521039A (zh) 一种资源与权限管理方法及装置
CN106850980B (zh) 一种移动终端中邮件附件的清理方法和移动终端
CN105681262A (zh) 一种交互消息分配方法及系统
EP2819438A1 (en) Spam message processing method and system
CN112799859B (zh) 一种混合云的数据交互方法
CN112395111A (zh) 一种第三方企业服务对接系统的构建方法
CN116916259A (zh) 一种信息转发方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination