CN113590602A - 一种消息去重方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种消息去重方法、装置、设备及存储介质，该方法包括：搭建kafka消息集群；编写kafka streams处理逻辑，并设置去重操作对应的翻转时间窗口；使用kafka命令行或客户端，向kafka发送指定消息；控制kafkastreams对翻转时间窗口内的指定消息根据设定规则进行去重操作。上述方法可以在大流量情形下，减少重复消息，实现高吞吐低延迟、高性能、高可用、易拓展，具有轻量、易开发、易维护、省资源等优势。

Description

一种消息去重方法、装置、设备及存储介质

技术领域

本发明涉及消息去重技术领域，特别是涉及一种消息去重方法、装置、设备及存储介质。

背景技术

目前，现有的消息去重方案主要有两大类：第一类是基于内存写去重逻辑，比如使用jvm内存或外部内存redis，这种方式虽然能够自定义，可控性好，但是需要解决消息堆积、异常恢复等问题，对程序员的编码能力要求很高。第二类是基于分布式消息处理引擎，这种方式虽然技术成熟，性能好，适用性广，但是基建依赖多、学习门槛、维护门槛高。比如市面上有基于flink这种分布式数据流引擎来进行消息的处理，但是这种方案需要搭建fink集群，增加了项目的维护成本，且开发门槛较高，一般需要专门大数据工程师进行开发。

因此，如何设计一种易开发、易维护的消息去重方案，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种消息去重方法、装置、设备及存储介质，具有轻量、易开发、易维护、省资源、高性能、高可用、易拓展的优势。其具体方案如下：

一种消息去重方法，包括：

搭建kafka消息集群；

编写kafka streams处理逻辑，并设置去重操作对应的翻转时间窗口；

使用kafka命令行或客户端，向kafka发送指定消息；

控制kafka streams对所述翻转时间窗口内的所述指定消息根据设定规则进行去重操作。

优选地，在本发明实施例提供的上述消息去重方法中，在所述搭建kafka消息集群之后，在所述编写kafka streams处理逻辑之前，还包括：

使用idea、eclipse创建一个java项目，引入kafka streams相应的pom依赖，对kafka streams进行相关配置。

优选地，在本发明实施例提供的上述消息去重方法中，所述处理逻辑包括对kafka消息特定主题的订阅、解析、有状态或无状态的处理、消息处理结果的重新发送。

优选地，在本发明实施例提供的上述消息去重方法中，所述去重操作属于有状态操作，使用基于所述翻转时间窗口的聚合操作。

优选地，在本发明实施例提供的上述消息去重方法中，所述对所述翻转时间窗口内的所述指定消息根据设定规则进行去重操作的步骤中，包括：

设置分组key；

根据所述分组key，对所述指定消息对应的分组数据添加所述翻转时间窗口；

在所述翻转时间窗口内对所述分组数据根据设定规则进行去重操作；

将去重操作后的数据重新转换为日志流作为去重操作后的topic消息。

优选地，在本发明实施例提供的上述消息去重方法中，还包括：

向下游发送去重操作后的topic消息，并利用下游业务进行监听。

优选地，在本发明实施例提供的上述消息去重方法中，所述指定消息为使用canal拉取mysql的binlog消息。

本发明实施例还提供了一种消息去重装置，包括：

集群搭建模块，用于搭建kafka消息集群；

逻辑编写模块，用于编写kafka streams处理逻辑，并设置去重操作对应的翻转时间窗口；

消息发送模块，用于使用kafka命令行或客户端，向kafka发送指定消息；

消息去重模块，用于控制kafka streams对所述翻转时间窗口内的所述指定消息根据设定规则进行去重操作。

本发明实施例还提供了一种消息去重设备，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如本发明实施例提供的上述消息去重方法。

本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述消息去重方法。

从上述技术方案可以看出，本发明所提供的一种消息去重方法，包括：搭建kafka消息集群；编写kafka streams处理逻辑，并设置去重操作对应的翻转时间窗口；使用kafka命令行或客户端，向kafka发送指定消息；控制kafka streams对翻转时间窗口内的指定消息根据设定规则进行去重操作。

本发明提供的上述消息去重方法，可以在大流量情形下，减少重复消息，实现高吞吐低延迟、高性能、高可用、易拓展，具有轻量、易开发、易维护、省资源等优势。此外，本发明还针对消息去重方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。

附图说明

为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的消息去重方法的流程图；

图2为本发明实施例提供的消息去重装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种消息去重方法，如图1所示，包括以下步骤：

S101、搭建kafka消息集群；

在实际应用中，搭建kafka消息集群的步骤，也可以使用单机版本用于本地开发测试。

S102、编写kafka streams处理逻辑，并设置去重操作对应的翻转时间窗口；

在实际应用中，原先数据库短时间内同一数据的变更会发送多条消息，导致消息的消费方会短时间处理多次，由于消费者仅保留最后一次处理结果，这就导致之前的处理都被覆盖了，而且消费方的处理代价是相对比较大的，导致系统性能的降低。本发明可以根据业务方实际需求、业务数据格式，编写kafka streams处理逻辑，并设置了翻转时间窗口来解决该问题。而时间窗口的引入会导致消费者提取消息有相应延迟，不同业务需求需要根据具体情况设置合理长度的翻转时间窗口，较佳地，本发明设置的翻转时间窗口的长度可以为10s。在执行完步骤S102后，就可以发布项目，完成搭建。

S103、使用kafka命令行或客户端，向kafka发送指定消息；

在具体实施时，指定消息可以为使用canal提取mysql的binlog消息，也就是说，本发明可以应用在库存中心的mysql的binlog消息的去重。除了库存中心，本发明也可以根据需要用在其它项目团队，使用该方案需要的资源很少，除了需要kafka集群和kafkastreams去重应用，不需要再部署其它的中间件，特别是本来就使用kafka的项目组，仅需要搭建非常轻量的去重系统(即实施本发明提供的消息去重方法的系统)，或者将kafkastreams集成在业务系统中也是可行的。与使用flink等分布式流数据流引擎方案相比，具有轻量、易开发、易维护、省资源等优势。

S104、控制kafka streams对翻转时间窗口内的指定消息根据设定规则进行去重操作。

需要说明的是，本发明可以控制kafka streams对翻转时间窗口内(如10s内)的消息根据设定规则进行去重，减少了重复消息，提升了性能。

在本发明实施例提供的上述消息去重方法中，可以在大流量情形下，减少重复消息，实现高吞吐低延迟、高性能、高可用、易拓展，具有轻量、易开发、易维护、省资源等优势。

进一步地，在具体实施时，在本发明实施例提供的上述消息去重方法中，在执行步骤S101搭建kafka消息集群之后，在执行步骤S102编写kafka streams处理逻辑之前，还可以包括：使用idea、eclipse创建一个java项目，引入kafka streams相应的pom依赖，对kafka streams进行相关配置。需要说明的是，Kafka streams有别于flink，是kafka客户端jar包的“增强”版本，可在pom文件中引入相应依赖，使用非常轻量。

在具体实施时，在本发明实施例提供的上述消息去重方法中，步骤S102中的处理逻辑可以包括对kafka消息特定主题的订阅、解析、有状态或无状态的处理、消息处理结果的重新发送。其中，去重操作属于有状态操作，使用基于翻转时间窗口的聚合操作。

在具体实施时，在本发明实施例提供的上述消息去重方法中，步骤S104对翻转时间窗口内的指定消息根据设定规则进行去重操作，具体可以包括：首先，设置分组key；然后，根据分组key，对指定消息对应的分组数据添加翻转时间窗口；之后，在翻转时间窗口内对分组数据根据设定规则进行去重操作，此时转化为有状态的更新流；最后，将去重操作后的数据(即有状态的更新流)重新转换为日志流作为去重操作后的topic消息。

进一步地，在具体实施时，在本发明实施例提供的上述消息去重方法中，还可以包括：向下游发送去重操作后的topic消息，并利用下游业务进行监听。也就是说，在kafkastreams处理消息后可转发topic，控制下游业务监听去重后的topic消息，保证系统的有效运行。

基于kafka，kafka streams具有高性能、强大的消息堆积、宕机容错能力，kafka的性能和消息堆积能力在业界已经是比较被认可的，以下将演示一个简单的实验项目，演示消息去重的关键步骤，并测试宕机容错能力，以证明其可靠性。

下面使用简单数据演示去重的实验过程包括：

步骤一、启动kafka，创建名为input、output两个kafka topic；

步骤二、编写去重代码，设置10s的翻转时间窗口；

步骤三、运行去重系统后，使用kafka命令行或客户端，向input连续输入主题消息：“aaaaabbb”；

步骤四、去重系统接收input消息并向output转发去重之后的消息：“ab”，可见消息成功去重。多个a，b进行了合并。显示的结果包括两个内容，第一个内容是key，第二个内容才是消息“ab”。

当在翻转时间窗口内，消息未去重完成，未向下游发送去重消息时，可以直接杀死去重系统进程。向input输入“abcdef”，在output还没有输出的情况下，迅速将java进程杀死，重启去重系统，发现output重新接收到消息，消息未丢失，只是顺序上有些问题。

具体地，Kafka input消息可以设置两个分区，包括一个kafka streams实例和多个kafka streams实例。为了便于演示更改聚合代码，把去重改为字符串累加。

当Kafka input消息被一个kafkastreams实例监听时，Input输入：5个“b”，聚合后output输出：“bbbbb”。

当Kafka input消息被多个kafkastreams实例监听时，Input输入：5个“c”，观察到一个实例接收到3个“c”，另一个实例接收到2个“c”，聚合后output输出值：“cc”“ccc”。

下面对集群单点宕机进行演示，以上述多个kafkastreams实例为例进行测试：

Input输入：“aabbccdd”，观察到“aacc”“bbdd”分别在两个实例上，在output没有输出的时候，杀死接收“bbdd”消息的kafka streams进程，发现output依然能输出bbdd。之后再输入任何消息，都会在这个存活的实例上消费。可见单个实例宕机，存活的实例会接替停止的实例继续工作。

以上几个实验演示了一个简单的实验项目，可以看到kafka streams完善的宕机恢复能力，在宕机之后不会丢数据，但可能会出现重复消息和消息顺序上的异常，使用时也要注意。

基于同一发明构思，本发明实施例还提供了一种消息去重装置，由于该装置解决问题的原理与前述一种消息去重方法相似，因此该装置的实施可以参见消息去重方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的消息去重装置，如图2所示，具体包括：

集群搭建模块11，用于搭建kafka消息集群；

逻辑编写模块12，用于编写kafka streams处理逻辑，并设置去重操作对应的翻转时间窗口；

消息发送模块13，用于使用kafka命令行或客户端，向kafka发送指定消息；

消息去重模块14，用于控制kafka streams对翻转时间窗口内的指定消息根据设定规则进行去重操作。

在本发明实施例提供的上述消息去重装置中，可以通过上述四个模块的相互作用，在大流量情形下，减少重复消息，实现高吞吐低延迟、高性能、高可用、易拓展，具有轻量、易开发、易维护、省资源等优势。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

相应地，本发明实施例还公开了一种消息去重设备，包括处理器和存储器；其中，处理器执行存储器中存储的计算机程序时实现前述实施例公开的消息去重方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的消息去重方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

综上，本发明实施例提供的一种消息去重方法，包括：搭建kafka消息集群；编写kafka streams处理逻辑，并设置去重操作对应的翻转时间窗口；使用kafka命令行或客户端，向kafka发送指定消息；控制kafka streams对翻转时间窗口内的指定消息根据设定规则进行去重操作。这样可以在大流量情形下，减少重复消息，实现高吞吐低延迟、高性能、高可用、易拓展，具有轻量、易开发、易维护、省资源等优势。此外，本发明还针对消息去重方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的消息去重方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种消息去重方法，其特征在于，包括：

搭建kafka消息集群；

编写kafka streams处理逻辑，并设置去重操作对应的翻转时间窗口；

使用kafka命令行或客户端，向kafka发送指定消息；

控制kafka streams对所述翻转时间窗口内的所述指定消息根据设定规则进行去重操作。

2.根据权利要求1所述的消息去重方法，其特征在于，在所述搭建kafka消息集群之后，在所述编写kafka streams处理逻辑之前，还包括：

使用idea、eclipse创建一个java项目，引入kafka streams相应的pom依赖，对kafkastreams进行相关配置。

3.根据权利要求2所述的消息去重方法，其特征在于，所述处理逻辑包括对kafka消息特定主题的订阅、解析、有状态或无状态的处理、消息处理结果的重新发送。

4.根据权利要求3所述的消息去重方法，其特征在于，所述去重操作属于有状态操作，使用基于所述翻转时间窗口的聚合操作。

5.根据权利要求4所述的消息去重方法，其特征在于，所述对所述翻转时间窗口内的所述指定消息根据设定规则进行去重操作的步骤中，包括：

设置分组key；

根据所述分组key，对所述指定消息对应的分组数据添加所述翻转时间窗口；

在所述翻转时间窗口内对所述分组数据根据设定规则进行去重操作；

将去重操作后的数据重新转换为日志流作为去重操作后的topic消息。

6.根据权利要求5所述的消息去重方法，其特征在于，还包括：

向下游发送去重操作后的topic消息，并利用下游业务进行监听。

7.根据权利要求6所述的消息去重方法，其特征在于，所述指定消息为使用canal拉取mysql的binlog消息。

8.一种消息去重装置，其特征在于，包括：

集群搭建模块，用于搭建kafka消息集群；

逻辑编写模块，用于编写kafka streams处理逻辑，并设置去重操作对应的翻转时间窗口；

消息发送模块，用于使用kafka命令行或客户端，向kafka发送指定消息；

消息去重模块，用于控制kafka streams对所述翻转时间窗口内的所述指定消息根据设定规则进行去重操作。

9.一种消息去重设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至7任一项所述的消息去重方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的消息去重方法。

Images