CN115604290B

CN115604290B - Kafka消息执行方法、装置、设备及存储介质

Info

Publication number: CN115604290B
Application number: CN202211592508.6A
Authority: CN
Inventors: 马腾; 陈恩泽
Original assignee: Accumulus Technologies Tianjin Co Ltd
Current assignee: Accumulus Technologies Tianjin Co Ltd
Priority date: 2022-12-13
Filing date: 2022-12-13
Publication date: 2023-03-24
Anticipated expiration: 2042-12-13
Also published as: CN115604290A

Abstract

本发明提供一种Kafka消息执行方法、装置、设备及存储介质，其中方法包括：分配步骤、初始化步骤、第一执行步骤：提取目标分区中存储的全部消息，将全部消息存储至目标分区对应的消息热备装置的公共缓存中得到目标消息热备装置；第二执行步骤：以当前的目标分区的后一级分区为新的目标分区，执行第一执行步骤，直至最后一级分区；第三执行步骤：并行执行目标消息热备装置中的全部消息，检测当前的目标消息热备装置中的消息是否全部执行；若当前的目标消息热备装置中的消息全部执行，以下一个目标消息热备装置为新的目标消息热备装置执行第二执行步骤，直至最后一个目标消息热备装置。本发明能够实现Kafka的消息高效并行执行。

Description

Kafka消息执行方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种Kafka消息执行方法、装置、设备及存储介质。

背景技术

业务服务在启动时会根据需要监听不同的Kafka消息的不同的Topic（主题），从而做各类型的消息处理任务。由于Kafka分片（partition）存储的机制，同一个Topic的消息生产者，生产的消息会推送到不同的partition中进行存储。在并发场景下，会有对应partition数据量的执行线程对同一个Topic中的消息进行执行。

然而，基于Kafka的分片存储机制，1个partition最多只能被1个执行线程执行，并且同一个partition中的消息只能按照消息顺序依次执行，使得现有的Kafka消息的并发效率低。

发明内容

本发明实施例提供一种Kafka消息执行方法、装置、设备及存储介质，以解决现有Kafka消息的并发效率低的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种Kafka消息执行方法，包括：

分配步骤：为Kafka集群中的每一分区分配对应的消息热备装置，每个所述消息热备装置中均预分配有公共缓存；

初始化步骤：以所述Kafka集群中最前一级分区为目标分区；

第一执行步骤：提取所述目标分区中存储的全部消息，将所述全部消息存储至所述目标分区对应的消息热备装置的公共缓存中得到目标消息热备装置；

第二执行步骤：以当前的所述目标分区的后一级分区为新的所述目标分区，执行所述第一执行步骤，直至所述目标分区为所述Kafka集群中最后一级分区；

第三执行步骤：并行执行所述目标消息热备装置中的所述全部消息，检测当前的所述目标消息热备装置中的消息是否全部执行，得到检测结果；若检测结果为当前的所述目标消息热备装置中的消息全部执行，以下一个所述目标消息热备装置为新的所述目标消息热备装置，执行所述第二执行步骤，直至所述目标消息热备装置为最后一个所述目标消息热备装置。

可选地，

所述公共缓存为Redis缓存。

可选地，

并行执行所述目标消息热备装置中的所述全部消息，包括：

每执行完成一消息，删除执行完成后的消息。

可选地，

检测当前的所述目标消息热备装置中的消息是否全部执行，包括：

校验当前的所述目标消息热备装置的公共缓存中是否存储有消息，得到校验结果；若所述校验结果为所述目标消息热备装置的公共缓存中未存储有消息，确定所述目标消息热备装置中的消息全部执行。

第二方面，本发明实施例提供了一种Kafka消息执行装置，包括：

分配模块，用于分配步骤：为Kafka集群中的每一分区分配对应的消息热备装置，每个所述消息热备装置中均预分配有公共缓存；

初始化模块，用于初始化步骤：以所述Kafka集群中最前一级分区为目标分区；

执行模块，用于第一执行步骤：提取所述目标分区中存储的全部消息，将所述全部消息存储至所述目标分区对应的消息热备装置的公共缓存中得到目标消息热备装置；

所述执行模块，还用于第二执行步骤：以当前的所述目标分区的后一级分区为新的所述目标分区，执行所述第一执行步骤，直至所述目标分区为所述Kafka集群中最后一级分区；

所述执行模块，还用于第三执行步骤：并行执行所述目标消息热备装置中的所述全部消息，检测当前的所述目标消息热备装置中的消息是否全部执行，得到检测结果；若检测结果为当前的所述目标消息热备装置中的消息全部执行，以下一个所述目标消息热备装置为新的所述目标消息热备装置，执行所述第二执行步骤，直至所述目标消息热备装置为最后一个所述目标消息热备装置。

可选地，

所述公共缓存为Redis缓存。

可选地，

所述执行模块，还用于每执行完成一消息，删除执行完成后的消息。

可选地，

所述执行模块，还用于校验当前的所述目标消息热备装置的公共缓存中是否存储有消息，得到校验结果；若所述校验结果为所述目标消息热备装置的公共缓存中未存储有消息，确定所述目标消息热备装置中的消息全部执行。

第三方面，本发明实施例提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面中任一项所述的Kafka消息执行方法中的步骤。

第四方面，本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面中任一项所述的Kafka消息执行方法中的步骤。

在本发明实施例中，通过分配步骤、初始化步骤、第一执行步骤、第二执行步骤及第三执行步骤，将Kafka集群中的消息热备至目标消息热备装置，再并行执行目标消息热备装置中的全部消息，实现了消息的高效并行执行，提高了消息执行效率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例Kafka消息执行方法的流程示意图；

图2为应用本发明实施例Kafka消息执行方法的流程示意图；

图3为本发明实施例Kafka消息执行装置的原理框图；

图4为本发明实施例电子设备的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种Kafka消息执行方法，参见图1所示，图1为本发明实施例Kafka消息执行方法的流程示意图，包括：

分配步骤11：为Kafka集群中的每一分区分配对应的消息热备装置，每个消息热备装置中均预分配有公共缓存；

初始化步骤12：以Kafka集群中最前一级分区为目标分区；

第一执行步骤13：提取目标分区中存储的全部消息，将全部消息存储至目标分区对应的消息热备装置的公共缓存中得到目标消息热备装置；

第二执行步骤14：以当前的目标分区的后一级分区为新的目标分区，执行第一执行步骤，直至目标分区为Kafka集群中最后一级分区；

第三执行步骤15：并行执行目标消息热备装置中的全部消息，检测当前的目标消息热备装置中的消息是否全部执行，得到检测结果；若检测结果为当前的目标消息热备装置中的消息全部执行，以下一个目标消息热备装置为新的目标消息热备装置，执行第二执行步骤，直至目标消息热备装置为最后一个目标消息热备装置。

示例性的，参见图2所示，图2为应用本发明实施例Kafka消息执行方法的流程示意图，包括以下步骤A至E：

A、业务生产者-A将消息推送到Kafka集群中，例如，生产者-A的消息全部推送至Kafka集群的Topic-A（主题-A）中，消息推送至Kafka集群时，Kafka集群内部通过负载均衡将消息分散到各个partition（分区）中，参见图2中的partition-1至partition-N，即示意了1-N个分区，每个分区均存储了生产者-A推送的消息；

B、消息热备装置进行Kafka消息的拿取，将消息存储到消息热备装置自身预分配的Redis缓存（Remote Dictionary Server，远程字典服务，相当于本发明实施例中的公共缓存）中，例如：消息热备装置-1从partition-1中拿取到了消息1至消息x，消息热备装置-1中的Redis缓存为Redis队列-1，即消息1至消息x被存储至Redis队列-1中；消息热备装置也具有N个，与分区对应；

C、消息热备装置给Kafka集群的对应的partition发送确认消息，用来告知partition可以进行下推处理（即相当于本发明实施例中的以当前的目标分区的后一级分区为新的目标分区，执行第一执行步骤，直至目标分区为Kafka集群中最后一级分区）；

D、业务服务端，即图2中的业务并发消费模块，通过监听Redis中已缓存的消息，一次取出全部的消息进行并行执行（即相当于本发明实施例中的并行执行目标消息热备装置中的全部消息），其中：消费器-1-1至消费器-1-Y示意了Y个执行进程，即可以是调用Y个执行进程并行执行一个目标消息热备装置中的全部消息，例如：Y个执行进程并行执行Redis队列-1中的x个消息；

E、执行成功后将Redis中的热备消息进行删除，作为正式完成消息消费的信号。

本发明实施例中，消息热备装置并不是实体的装置，而是一种热备份程序。热备份是在数据库运行的情况下，采用archivelog mode（归档模式）方式备份数据库的方法。如果有一个冷备份而且又有热备份文件，在发生问题时，就可以利用这些资料恢复更多的信息。热备份要求数据库在Archivelog( )方式下操作，并需要大量的档案空间。一旦数据库运行在archivelog状态下，就可以做备份了。

本发明实施例中，第一执行步骤13：提取目标分区中存储的全部消息，将全部消息存储至目标分区对应的消息热备装置的公共缓存中得到目标消息热备装置，将在执行时只能按照消息顺序依次执行的分区中存储的消息，转化为了目标热备装置中数组形式的消息，使得消息能够不依照顺序而高效并行执行，消息存储结构的改变提高了消息在并发场景下的并发效率。再结合热备份方式，进一步提高了消息的执行效率。

在本发明实施例中，通过分配步骤11、初始化步骤12、第一执行步骤13、第二执行步骤14及第三执行步骤15，将Kafka集群中的消息热备至目标消息热备装置，再并行执行目标消息热备装置中的全部消息，实现了消息的高效并行执行，提高了消息执行效率。

本发明的一些实施例中，可选地，公共缓存为Redis缓存。

Redis（Remote Dictionary Server），即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string（字符串）、list（链表）、set（集合）、zset（sorted set -有序集合）和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

Redis是一个高性能的key-value数据库。Redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Java、C/C++、C#、PHP、JavaScript、Perl、Object-C、Python、Ruby、Erlang等客户端，使用很方便。

Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。

本发明的一些实施例中，可选地，并行执行目标消息热备装置中的全部消息，包括：

每执行完成一消息，删除执行完成后的消息。

即相当于前文示例中的步骤E：执行成功后将Redis中的热备消息进行删除，作为正式完成消息消费的信号。

本发明实施例中，通过每执行完成一消息，删除执行完成后的消息，可以释放公共缓存的缓存空间，避免执行完成的消息占据公共缓存空间，降低实现本发明实施例所需的服务器资源，降低热备成本。

本发明的一些实施例中，可选地，检测当前的所述目标消息热备装置中的消息是否全部执行，包括：

本发明实施例中，通过校验当前的所述目标消息热备装置的公共缓存中是否存储有消息，若所述校验结果为所述目标消息热备装置的公共缓存中未存储有消息，确定所述目标消息热备装置中的消息全部执行，可以有效简化检测步骤，提高检测速度，高效且准确地实现监测。

本发明实施例提供了一种Kafka消息执行装置，参见图3所示，图3为本发明实施例Kafka消息执行装置的原理框图，Kafka消息执行装置30包括：

分配模块31，用于分配步骤：为Kafka集群中的每一分区分配对应的消息热备装置，每个所述消息热备装置中均预分配有公共缓存；

初始化模块32，用于初始化步骤：以所述Kafka集群中最前一级分区为目标分区；

执行模块33，用于第一执行步骤：提取所述目标分区中存储的全部消息，将所述全部消息存储至所述目标分区对应的消息热备装置的公共缓存中得到目标消息热备装置；

所述执行模块33，还用于第二执行步骤：以当前的所述目标分区的后一级分区为新的所述目标分区，执行所述第一执行步骤，直至所述目标分区为所述Kafka集群中最后一级分区；

所述执行模块33，还用于第三执行步骤：并行执行所述目标消息热备装置中的所述全部消息，检测当前的所述目标消息热备装置中的消息是否全部执行，得到检测结果；若检测结果为当前的所述目标消息热备装置中的消息全部执行，以下一个所述目标消息热备装置为新的所述目标消息热备装置，执行所述第二执行步骤，直至所述目标消息热备装置为最后一个所述目标消息热备装置。

本发明的一些实施例中，可选地，所述公共缓存为Redis缓存。

本发明的一些实施例中，可选地，所述执行模块，还用于每执行完成一消息，删除执行完成后的消息。

本发明的一些实施例中，可选地，

本申请实施例提供的Kafka消息执行装置能够实现图1至图2的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例提供了一种电子设备40，参见图4所示，图4为本发明实施例电子设备40的原理框图，包括处理器41，存储器42及存储在存储器42上并可在处理器41上运行的程序或指令，程序或指令被处理器执行时实现本发明的任一项Kafka消息执行方法中的步骤。

本发明实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如上述任一项的Kafka消息执行方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述的可读存储介质，如只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims

1.一种Kafka消息执行方法，其特征在于，包括：

初始化步骤：以所述Kafka集群中最前一级分区为目标分区；

2.根据权利要求1所述的Kafka消息执行方法，其特征在于：

所述公共缓存为Redis缓存。

3.根据权利要求1所述的Kafka消息执行方法，其特征在于：

并行执行所述目标消息热备装置中的所述全部消息，包括：

每执行完成一消息，删除执行完成后的消息。

4.根据权利要求3所述的Kafka消息执行方法，其特征在于：

5.一种Kafka消息执行装置，其特征在于，包括：

6.根据权利要求5所述的Kafka消息执行装置，其特征在于：

所述公共缓存为Redis缓存。

7.根据权利要求5所述的Kafka消息执行装置，其特征在于：

8.根据权利要求7所述的Kafka消息执行装置，其特征在于：

9.一种电子设备，其特征在于：包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至4中任一项所述的Kafka消息执行方法中的步骤。

10.一种可读存储介质，其特征在于：所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至4中任一项所述的Kafka消息执行方法中的步骤。