CN117234709A - 一种基于消息中间件的去重方法、系统、设备和介质 - Google Patents

Abstract

本方案涉及一种基于消息中间件的去重方法、系统、设备和介质，该方法应用于通道，包括：接收消息中间件发送的第一列表，根据第一列表更新通道内的第一去重列表，第一列表中包含已发送消息，从消息中间件中获取待发送消息，将待发送消息与第一去重列表对比，根据对比结果确认待发送消息是否已经发送，若待发送消息未发送，将待发送消息发送给消息消费者。本发明可以提高系统性能和减少内存集中占用，应用于信息技术领域。

Description

一种基于消息中间件的去重方法、系统、设备和介质

技术领域

本发明涉及信息技术领域，尤其涉及一种基于消息中间件的去重方法、系统、设备和介质。

背景技术

为了减少消息在各种异常场景下的重发，发生大规模重发的生产事故，在消息发送到运营商或互联网厂商时，需要对待发送的消息进行去重。

当前，基于redis去重是该领域去重的常规方案，在特定场景下能取得较好的性能与一致性，但该方法对网络耗时与带宽要求极高，特别在跨机房集群时，网络络延迟受到影响尤为严重，在去重周期内，若消息的发送量大时，系统性能较低且内存占用会很高。

发明内容

有鉴于此，本发明的目的是提供一种基于消息中间件的去重方法、系统、设备和介质，可以提高系统性能和减少内存集中占用。

为了解决上述问题，第一方面，本发明提供了一种基于消息中间件的去重方法，应用于通道，包括以下步骤：

接收消息中间件发送的第一列表，根据所述第一列表更新通道内的第一去重列表；所述第一列表中包含已发送消息；

从所述消息中间件中获取待发送消息，将所述待发送消息与所述第一去重列表对比；

根据对比结果确认所述待发送消息是否已经发送，若所述待发送消息未发送，将所述待发送消息发送给所述消息消费者。

可选地，根据所述消息中间件的第一列表更新通道内的第一去重列表，具体包括：

所述通道每间隔第一时间阈值，从所述第一列表中获取已发送消息；

将所述已发送消息加入所述第一去重列表，更新通道内的所述第一去重列表。

可选地，所述确认所述待发送消息是否已经发送，具体包括：

检查所述第一去重列表中是否存在所述待发送消息的ID，若所述第一去重列表中存在所述待发送消息的ID，确认所述待发送消息已经发送；

若所述第一去重列表中不存在所述待发送消息的ID，确认所述待发送消息未发送。

可选地，所述方法还包括：在所述通道内维护所述第一去重列表，具体包括：

为所述第一去重列表中的已发送消息设置去重有效期，为所述第一去重列表设置消息数量阈值；

当所述第一去重列表中的已发送消息数量达到所述消息数量阈值，将所述第一去重列表中的达到去重有效期的已发送消息删除，重置所述第一去重列表。

可选地，所述将所述待发送消息发送给所述消息中间件之后，还包括：

将所述待发送消息存入所述第一去重列表，并将所述待发送消息上报给通道内的待同步列表中；

将所述待同步列表中的已发送消息推送给所述消息中间件，以使所述消息中间件将所述待同步列表中的已发送消息同步给其它通道。

可选地，所述将所述待同步列表中的已发送消息推送给所述消息中间件，具体包括:

设置第二时间阈值和第二消息数量；

每间隔第二时间阈值，根据所述第二消息数量将所述待同步列表中的已发送消息，推送给所述消息中间件的第一列表。

可选地，所述方法还包括：

所述通道重启时，从所述第一列表中获取历史消息列表；

根据所述历史消息列表建立所述第一去重列表。

为了解决上述问题，第二方面，本发明提供了一种基于消息中间件的去重系统，包括通道和消息中间件，所述通道与所述消息中间件通信连接，其中，

所述通道，用于实现一种基于消息中间件的去重方法任一项所述的方法；

所述消息中间件，用于接收消息、存储消息和发送消息，包括接收、发送和存储来自消息提供段和所述通道的消息。为了解决上述问题，第三方面，本发明提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种基于消息中间件的去重方法任一项所述的方法。

为了解决上述问题，第四方面，本发明提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如一种基于消息中间件的去重方法任一项所述的方法。

实施本发明包括以下有益效果：本发明通过通道接收消息中间件发送的第一列表，根据第一列表更新通道内的第一去重列表，第一列表中包含已发送消息，从消息中间件中获取待发送消息，将待发送消息与第一去重列表对比，根据对比结果确认待发送消息是否已经发送，若待发送消息未发送，将待发送消息发送给消息消费者，在每一个通道内具有一个去重列表，在各自通道中实现全量去重，提高系统的运行性能，且在消息集中发布时，减少内存集中占用。

附图说明

图1是本发明提供的一种基于消息中间件的去重方法应用的系统示意图；

图2是本发明提供的基于消息中间件的去重方法的流程图；

图3是本发明提供的一种基于消息中间件的去重方法中第一去重列表示意图；

图4是本发明提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

为了更好的说明本方案，现对本发明涉及的技术名词做出解释。

通道：在消息平台中，会聚合多种类型的通道，如短信通道、微信通道、5G消息通道、邮件通道等，每种类型的通道彼此独立运行，每种类型的通道支持集群部署，一种类型的通道中并存在多个通道，每个通道部署在不同服务器中，通过MQ消息中间件同步每个通道内的去重信息，使得每个通道的去重列表能最终一致，从而达到全量去重的效果。

全量去重：全量去重指每一个通道中已发送的消息会在相同通道类型中的每一个通道中同步，也就是说相同通道类型的各个通道的去重列表一致，比如短信通道中，N个通道的去重列表相同，微信通道中，M个通道的去重列表相同。

如图1所示，图1是一种基于消息中间件的去重方法应用的系统示意图，图中通道实例N的箭头表示在本通道内去重，该系统包括若干个通道和消息中间件，其中系统中包括若干种通道类型，图1中仅列举两中通道类型，每种通道类型内包括若干个通道，图1仅展示一种通道类型的N个通道，通道在接收到消费请求后，将在本通道内去重，然后将未发送的消息发送给消费消费者。

为了解决上述问题，在一些实施例中，如图2所示，图2是基于消息中间件的去重方法的流程图，本发明提供一种基于消息中间件的去重方法，应用于通道，包括以下步骤：

S100、接收消息中间件发送的第一列表，根据所述第一列表更新通道内的第一去重列表。

所述第一列表中包含已发送消息，在一些实施例中，第一列表可以仅包括已发送消息的ID，在另一些实施例中，第一列表也可以包括已发送消息的ID以及已发送消息的其它相关信息，比如长度、消息内容等。

在一些实施例中，第一去重列表可以仅包括已发送消息的ID和过期时间，在另一些实施例中，第一去重列表也可以包括已发送消息的ID以及已发送消息的其它相关信息，比如长度、消息内容、存入时间等。

其中，消息中间件中，第一列表包括所有通道类型中所有通道的已发送消息，第一去重列表包括本通道类型内所有通道的已发送消息，每一条已发送消息具备唯一的ID。S200、从所述消息中间件中获取待发送消息，将所述待发送消息与所述第一去重列表对比。

具体地，待发送的消息是预先分配好的，某一个通道被分配到待发送的消息后，将接收到的待发送消息与第一去重列表中的已发送消息进行对比。

S300、根据对比结果确认所述待发送消息是否已经发送，若所述待发送消息未发送，将所述待发送消息发送给所述消息中间件。

具体地，当步骤S200中的对比结果为，待发送消息不在第一去重列表中的已发送消息中，则将待发送消息发送给消息中间件，由消息队里将待发送消息转发给消费端的通道。

为了解决上述问题，在一些实施例中，步骤S100中根据所述消息中间件的第一列表更新通道内的第一去重列表，具体包括：

S110、所述通道每间隔第一时间阈值，从所述第一列表中获取已发送消息。

其中，第一时间阈值为预设值，可以出厂设置也可以根据消息发送的集中程度设置，比如1秒、2秒、5秒。

具体地，通道每间隔第一时间阈值，从第一列表中获取本通道类型内其它通道的已发送消息，比如通道1获取通道2-N的已发送消息。

S120、将所述已发送消息加入所述第一去重列表，更新通道内的所述第一去重列表。

具体地，将其它通道中与第一去重列表中已发送消息不重复的已发送消息加入第一去重列表中，更新通道内的第一去重列表，使相同通道类型中的所有通道的第一去重列表一致，也就是已发送消息列表相同，使得一个通道不会重发其它通道的已发送消息，实现本通道类型内的全量去重，比如短信通道内的全量去重。

通过设置第一时间阈值，批量获取其它通道的已发送消息，减少消息中间件的网络负载，提高消息发送的可靠性。

为了解决上述问题，在一些实施例中，步骤S300中所述确认所述待发送消息是否已经发送，具体包括：

S310、检查所述第一去重列表中是否存在所述待发送消息的ID，若所述第一去重列表中存在所述待发送消息的ID，确认所述待发送消息已经发送。

S320、若所述第一去重列表中不存在所述待发送消息的ID，确认所述待发送消息未发送。

具体地，第一去重列表、第一列表中，每一条消息都有唯一的ID，在通道内去重时，在第一去重列表中查询，是否存在待发送消息的ID，若存在，则说明该待发送消息已经被发送，将该待发送消息忽略并且输出警告日志，消息不会重复发送；若不存在，说明待发送消息已经未被发送。

为了解决上述问题，在一些实施例中，如图3所示，图3是一种基于消息中间件的去重方法中第一去重列表示意图，其中，ID1-IDN表示消息的ID，所述方法还包括S400在所述通道内维护所述第一去重列表，具体包括：

S410、为所述第一去重列表中的已发送消息设置去重有效期，为所述第一去重列表设置消息数量阈值。

其中，第一去重列表中每一条消息都有去重有效期，其去重有效期是相同的，但是由于其存入第一去重列表的时间不同，其在第一去重列表中的过期时间是不同，过期时间为去重有效期减去已发送消息存入第一去重列表的时间。在本实施例中，将去重有效期设置为24小时。

另外，为了减少第一去重列表占据通道的内存，为第一去重列表设置消息数量阈值，即第一去重列表存储消息的数量上限。

S420、当所述第一去重列表中的已发送消息数量达到所述消息数量阈值，将所述第一去重列表中的达到去重有效期的已发送消息删除，重置所述第一去重列表。

具体地，将已发送消息按照过期时间的先后顺序存储，在第一去重列表中的已发送消息数量达到上限时，将已经达到去重有效期的已发送消息从第一去重列表中删除。

为了解决上述问题，在一些实施例中，如图3所示，在步骤S300中所述将所述待发送消息发送给所述消息中间件之后，还包括：

S510、将所述待发送消息存入所述第一去重列表，并将所述待发送消息上报给通道内的待同步列表中。

具体地，将已经发送的待发送消息存入本通道的第一去重列表，并上报给通道内的待同步列表中。

S520、将所述待同步列表中的已发送消息推送给所述消息中间件，以使所述消息中间件将所述待同步列表中的已发送消息同步给其它通道。

为了解决上述问题，在一些实施例中，步骤S520所述将所述待同步列表中的已发送消息推送给所述消息中间件，具体包括:

S521、设置第二时间阈值和第二消息数量。

其中，第二时间阈值可以是但不限于是1秒、两秒、五秒，第二消息数量可以是但不限于是1000。

S522、每间隔第二时间阈值，根据所述第二消息数量将所述待同步列表中的已发送消息，推送给所述消息中间件的第一列表。

具体地，每一个通道周期地的将已发送消息从待同步列表批量取出，推送到消息中间件的消息中间件中，通过消息中间件向同通道的其它通道广播已发送消息的ID，保持各通道第一去重列表的一致。

直到每一个通道从待同步列表的第二消息数量的已发送消息ID，比如1000条消息，全部发送完毕，再进入下一个周期，消息中间件接收待同步列表后，每隔一段之间，将待同步列表中的已发送消息广播给出了本通道之外的其他通道，实现相同通道类型中所有通道的第一去重列表最终能保持一致。

该步骤采用批量周期广播的方式，主要是为了避免增加消息中间件的网络负载，通过消息中间件广播使得所有通道的第一去重列表最终能保持一致，达到全量(本通道内)去重的效果。

为了解决上述问题，在一些实施例中，所述方法还包括：

S610、所述通道重启时，从所述第一列表中获取历史消息列表。

其中，历史消息列表为本通道内地历史已发送消息，包括历史已发送消息的ID。

具体地，在通道重启时，通道中的第一去重列表没有已发送消息，需要从消息中间件的第一列表获取完整的历史消息列表。

S620、根据所述历史消息列表建立所述第一去重列表。

具体地，将历史消息列表中没有过期的已发送消息列表作为初始第一去重列表，在初始第一去重列表基础上，在发送待发送消息之后，将待发送消息作为已发送消息存入第一去重列表中。

为了解决上述问题，在一些实施例中，如图1所示，本发明提供了一种基于消息中间件的去重系统，包括通道和消息中间件，所述通道与所述消息中间件通信连接，其中，

所述通道，用于实现一种基于消息中间件的去重方法任一项所述的方法；

所述消息中间件，用于接收消息、存储消息和发送消息，包括接收、发送和存储来自消息提供端的消息和所述通道的消息。

具体地，消费端通道将消费请求发送给消息中间件，消息中间件将消费请求转发给消息提供端，消息提供端在接收到消费请求后，将待发送消息发送给消息中间件，通道从消息中间件中获取消费请求对应的待发送消息，根据前述一种基于消息中间件的去重方法实现通道内消息去重，确定该待发送消息没有发送，并将没有发送过的带发送消息发送给消息消费者。

为了解决上述问题，在一些实施例中，如图4所示，图4是本发明提供的一种电子设备的结构示意图，本发明还提供了一种电子设备，所述电子设备包括处理器10和存储器20，所述存储器20存储有计算机程序，所述处理器10执行所述计算机程序时实现上述方法实施例所述的任何一种方法。

其中，存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

此外，本申请实施例还公开了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述的方法。同样地，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述方法实施例所述的任何一种方法。

可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于消息中间件的去重方法，其特征在于，应用于通道，包括以下步骤：

接收消息中间件发送的第一列表，根据所述第一列表更新通道内的第一去重列表；所述第一列表中包含已发送消息；

从所述消息中间件中获取待发送消息，将所述待发送消息与所述第一去重列表对比；

根据对比结果确认所述待发送消息是否已经发送，若所述待发送消息未发送，将所述待发送消息发送给消息消费端。

2.根据权利要求1所述的方法，其特征在于，根据所述消息中间件的第一列表更新通道内的第一去重列表，具体包括：

所述通道每间隔第一时间阈值，从所述第一列表中获取已发送消息；

将所述已发送消息加入所述第一去重列表，更新通道内的所述第一去重列表。

3.根据权利要求1所述的方法，其特征在于，所述确认所述待发送消息是否已经发送，具体包括：

检查所述第一去重列表中是否存在所述待发送消息的ID，若所述第一去重列表中存在所述待发送消息的ID，确认所述待发送消息已经发送；

若所述第一去重列表中不存在所述待发送消息的ID，确认所述待发送消息未发送。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述通道内维护所述第一去重列表，具体包括：

为所述第一去重列表中的已发送消息设置去重有效期，为所述第一去重列表设置消息数量阈值；

当所述第一去重列表中的已发送消息数量达到所述消息数量阈值，将所述第一去重列表中的达到去重有效期的已发送消息删除，重置所述第一去重列表。

5.根据权利要求1所述的方法，其特征在于，所述将所述待发送消息发送给所述消息中间件之后，还包括：

将所述待发送消息存入所述第一去重列表，并将所述待发送消息上报给通道内的待同步列表中；

将所述待同步列表中的已发送消息推送给所述消息中间件，以使所述消息中间件将所述待同步列表中的已发送消息同步给其它通道。

6.根据权利要求5所述的方法，其特征在于，所述将所述待同步列表中的已发送消息推送给所述消息中间件，具体包括:

设置第二时间阈值和第二消息数量；

每间隔第二时间阈值，根据所述第二消息数量将所述待同步列表中的已发送消息，推送给所述消息中间件的第一列表。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述通道重启时，从所述第一列表中获取历史消息列表；

根据所述历史消息列表建立所述第一去重列表。

8.一种基于消息中间件的去重系统，其特征在于，包括通道和消息中间件所述通道与所述消息中间件通信连接，其中，

所述通道，用于实现权利要求1-7任一项所述的方法；

所述消息中间件，用于接收消息、存储消息和发送消息，包括接收、发送和存储来自消息提供段和所述通道的消息。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述的方法。