CN112804332A - 消息处理系统、方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种消息处理系统、方法、装置、设备及计算机可读存储介质。该方法该消息处理系统包括至少第一数据中心和第二数据中心，第一数据中心包括第一生产者集群、第一生产者代理集群、第一消费者集群、第一消费者代理集群和第一消息中间件集群，每一第一主消息服务器配置有至少一个第一从消息服务器和第二从消息服务器以构成消息服务器组；第一生产者代理集群被配置确定存在第一主消息服务器存活时，将来自第一生产者集群的消息发送到存活的第一主消息服务器；或在确定第一主消息服务器均故障时，将消息发送到第二主消息服务器。通过上述方式，本申请能够降低访问消息中间件集群的延迟，提高消息中间件集群的可用性。

Description

消息处理系统、方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及信息技术领域，特别是涉及一种消息处理系统、消息处理方法、消息处理装置、消息处理设备及计算机可读存储介质。

背景技术

消息中间件在分布式系统中扮演着一个至关重要的角色，其主要能够实现降低应用耦合度，异步处理消息内容，降低流量高峰等功能。并且，实现能够提升系统的性能及可持续使用性，能够提供相对便捷的分布式接口，简化系统的伸缩流程和最终一致性的架构。基于上述的优势，消息中间件目前被广泛的应用于电商、金融保险、物联网、传媒泛娱乐、教育、物流和交通等行业。

消息中间件不仅要求在分布式环境下实现信息的高效采集、管理、发布、交换和处理，而且要具有扩展性、互操作性、高可靠性、高可用性、高可伸缩性及安全性。

而相关技术中的消息中间件的部署方式，存在访问异地消息服务器延迟较高、消息中间件可靠性和可用性不高的问题。

发明内容

本申请提供一种消息处理系统、消息处理方法、消息处理装置、消息处理设备及计算机可读存储介质，以解决相关技术中消息中间件延迟高和可用性、可靠性不高的问题。

为解决上述技术问题，本申请提供一种消息处理系统。消息处理系统包括至少第一数据中心和第二数据中心，第一数据中心包括第一生产者集群、第一生产者代理集群、第一消费者集群、第一消费者代理集群和第一消息中间件集群，第二数据中心包括第二消息中间件集群，第一消息中间件集群包括至少两个第一主消息服务器和第一从消息服务器，第二消息中间件集群包括至少两个第二主消息服务器和第二从消息服务器，每一第一主消息服务器配置有至少一个第一从消息服务器和第二从消息服务器以构成消息服务器组；第一生产者代理集群被配置确定存在第一主消息服务器存活时，将来自第一生产者集群的消息发送到存活的第一主消息服务器；或在确定第一主消息服务器均故障时，将消息发送到第二主消息服务器；第一消费者代理集群被配置为从存储消息的消息服务器组获取的消息，并将消息推送到同一数据中心的第一消费者集群；或第一消费者集群被配置为从第一消费者代理集群拉取消息；主消息服务器被配置为向第一从消息服务器和第二同步消息。

为解决上述技术问题，本申请提供一种消息处理方法。该方法应用于消息处理系统，消息处理系统包括至少第一数据中心和第二数据中心，第一数据中心包括第一生产者集群、第一生产者代理集群、第一消费者集群、第一消费者代理集群和第一消息中间件集群，第二数据中心包括第二消息中间件集群，第一消息中间件集群包括至少两个第一主消息服务器和第一从消息服务器，第二消息中间件集群包括至少两个第二主消息服务器和第二从消息服务器，每一第一主消息服务器配置有至少一个第一从消息服务器和第二从消息服务器以构成消息服务器组；方法包括：第一生产者集群将生产的消息发送到第一生产者代理集群；第一生产者代理集群接收消息；第一生产者代理集群获取消息的路由信息，路由信息包括第一数据中心存活的第一主消息服务器；若路由信息中存在存活的第一主消息服务器，第一生产者代理集群将消息发送到存活的第一主消息服务器；第一消费者代理集群从第一主消息服务器或第一主消息服务器的第一从消息服务器/第二从消息服务器拉取消息；若路由信息中不存在存活的第一主消息服务器，则第一生产者代理集群将消息发送到第二主消息服务器；第一消费者代理集群从第二主消息服务器或第二主消息服务器的从消息服务器拉取消息；第一消费者代理集群将消息发送到第一消费者集群；或第一消费者集群从第一消费者代理集群拉取消息。

为解决上述技术问题，本申请提供一种消息处理方法。该方法应用于消息处理系统中的第一生产者代理集群，消息处理系统包括至少第一数据中心和第二数据中心，第一数据中心包括第一生产者集群、第一生产者代理集群、第一消费者集群、第一消费者代理集群和第一消息中间件集群，第二数据中心包括第二消息中间件集群，第一消息中间件集群包括至少两个第一主消息服务器和第一从消息服务器，第二消息中间件集群包括至少两个第二主消息服务器和第二从消息服务器，每一第一主消息服务器配置有至少一个第一从消息服务器和第二从消息服务器以构成消息服务器组；方法包括：第一生产者代理集群接收来自第一生产者集群生产的消息；

第一生产者代理集群获取消息的路由信息，路由信息包括第一数据中心存活的第一主消息服务器；若路由信息中存在存活的第一主消息服务器，第一生产者代理集群将消息发送到存活的第一主消息服务器，以使得第一消费者代理集群能够从第一主消息服务器或第一主消息服务器的第一从消息服务器/第二从消息服务器拉取消息；若路由信息中不存在存活的第一主消息服务器，则第一生产者代理集群将消息发送到第二主消息服务器，以使得第一消费者代理集群能够从第二主消息服务器或第二主消息服务器的从消息服务器拉取消息。

为解决上述技术问题，本申请提供一种消息处理方法。该方法应用于消息处理系统中的第一消费者代理集群，消息处理系统包括至少第一数据中心和第二数据中心，第一数据中心包括第一生产者集群、第一生产者代理集群、第一消费者集群、第一消费者代理集群和第一消息中间件集群，第二数据中心包括第二消息中间件集群，第一消息中间件集群包括至少两个第一主消息服务器和第一从消息服务器，第二消息中间件集群包括至少两个第二主消息服务器和第二从消息服务器，每一第一主消息服务器配置有至少一个第一从消息服务器和第二从消息服务器以构成消息服务器组；方法包括：第一消费者代理集群从第一主消息服务器或第一主消息服务器的第一从消息服务器/第二从消息服务器拉取消息；其中，消息是第一生产者代理集群根据路由信息确定存在存活的第一主消息服务器时，发送到第一主消息服务器的；或第一消费者代理集群从第二主消息服务器或第二主消息服务器的从消息服务器拉取消息；其中，消息是第一生产者代理集群根据路由信息确定不存在存活的第一主消息服务器时，发送到第二主消息服务器的；第一消费者代理集群将消息发送到第一消费者集群。

为解决上述技术问题，本申请提供一种消息处理装置。该消息处理装置生产者代理模块，用于确定位于同一数据中心的消息中间件集群存活时，将来自生产者集群生产的消息发送到同一数据中心的消息中间件集群；确定位于同一数据中心的消息中间件集群故障时，将来自生产者集群生产的消息发送到其他数据中心的消息中间件集群；消息中间件模块，用于接收并存储来自生产者代理集群发送的消息；消费者代理模块，用于从消息中间件模块拉取消息。

为解决上述技术问题，本申请提供一种消息处理设备。该消息处理设备包括处理器、存储器和通信电路；处理器耦接存储器和通信电路，在工作时执行指令，以配合存储器和通信电路实现上述的消息处理方法。该消息处理装置包括处理器和通信电路，处理器耦接通信电路，在工作时执行指令，以配合通信电路实现上述的消息处理方法。

为解决上述技术问题，本申请提供一种计算机可读存储介质。计算机可读存储介质存储有计算机程序，计算机程序能够被处理器执行以实现上述的消息处理方法。

本申请通过在第一数据中心部署第一生产者代理集群和第一消费者代理集群，在第一生产者代理集群确定同一数据中心存在第一主消息服务器存活时，将第一生产者集群的生产的消息推送到存活的第一主消息服务器，如此消息在同一数据中心传输，能够降低网络抖动对消息推送的影响，降低延迟。并且，每一消息服务器组包括第一主消息服务和第一从消息服务器，以及跨数据中心部署的第二从消息服务器，第一主消息服务器和第一从消息服务器、第二从消息服务器之间消息同步，使得第一数据消息中间件集群整体宕机时，还能够从第二从消息服务器拉取消息，从而实现消息中间件集群的高可用。

附图说明

图1是本申请提供的消息处理系统一实施例的结构示意图；

图2是本申请提供的一种消息处理方法第一实施例的流程示意图；

图3是本申请提供的一种消息处理方法第二实施例的流程示意图；

图4是本申请提供的一种消息处理方法第三实施例的流程示意图；

图5是本申请提供的消息处理装置一实施例的结构示意图；

图6是本申请提供的消息处理设备一实施例的结构示意图；

图7是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本申请所提供的消息处理系统、消息处理方法、消息处理装置、消息处理设备及计算机可读存储介质进一步详细描述。

请参阅图1，图1是本申请提供的消息处理系统一实施例的结构示意图。

消息处理系统10包括至少两个数据中心，即第一数据中心11和第二数据中心12。

其中，第一所述数据中心包括第一生产者集群111、第一生产者代理集群112、第一消费者集群113、第一消费者代理集群114和第一消息中间件集群115。第一消息中间件集群115包括至少两个第一主消息服务器1151、至少两个第一从消息服务器1152。第一从消息服务器1152的数量多于第一主消息服务器1151。

第二数据中心12的逻辑结构与第一数据中心11相同，第二数据中心12包括第二生产者集群121、第二生产者代理集群122、第二消费者集群123、第二消费者代理集群124和第二消息中间件集群125。第二消息中间件集群125包括至少两个第二主消息服务器1251、至少两个第二从消息服务器1252。第二从消息服务器1252的数量多于第二主消息服务器1251。

每一第一主消息服务器1151配置有位于同一数据中心的第一从消息服务器1152，以及位于第二数据中心12第二从消息服务器1252。每一第一主消息服务器1151和至少一个第一从消息服务器1152、第二从消息服务器1252构成一个消息服务器组1150。一个主消息服务器可以对应有多个从消息服务器，而每一从消息服务器只对应有一个主消息服务器。消息服务器组1150中各消息服务器存储的消息是一致的，第一主消息服务器1151接收到的消息可以通过同步双写或异步复制的方式将消息同步到第一从消息服务器1152和第二从消息服务器1252，从而实现对第一主消息服务器1151中数据的本地备份和异地备份，以实现消息中间件的高可用。

同样地，每一第二主消息服务器1251配置有位于同一数据中心的第二从消息服务器1252，以及位于第一数据中心11第一从消息服务器1152。一第二主消息服务器1251和至少一个第二从消息服务器1252、第一从消息服务器1152构成一个消息服务器组1250。同样地，消息服务器组1250中各消息服务器存储的消息也是一致的。

第一数据中心11还可以包括第一状态服务器集群116，第一状态服务器集群116中包括有多个第一状态服务器(图未示)，第一状态服务器集群116用于维护第一消息中间件集群115的路由信息。具体而言，第一消息中间件集群115中每个消息服务器(第一主消息服务器1151、第一从消息服务器1152)启动时与第一状态服务器集群116中每一第一状态服务器建立长连接，定时(例如15秒、30秒或50秒等)向第一状态服务器集群116中每一第一状态服务器发送心跳包，以将最新的信息上报给第一状态服务器集群116，证明消息服务器自身存活。心跳包中包括消息服务器标识、消息服务器地址、消息服务器名称、该消息服务器所属的集群名称和主题信息等。第一状态服务器集群116接收到心跳包后，将心跳包的内容存储到路由信息表中，并更新时间戳，以记录发送心跳包的消息服务器的最新存活时间。第一状态服务器集群116定期检查路由信息表中的时间戳，对于超过预设时间(例如90秒或120秒等)未更新时间戳的消息服务器进行路由清理，表示该消息服务器出现故障，消息不会被路由到该消息服务器上。

第一生产代理服务器集群中与第一状态服务器集群116中建立有长连接，定期(例如30秒)从第一状态服务器集群116中获取路由信息。路由信息包括存活的第一主消息服务器1151的标识、地址、名称和主题信息等。第一生产代理服务器集群接收到来自同一数据中心的生产者集群生产的消息后，根据消息的主题信息和从第一状态服务器集群116获取的路由信息，确定发送该消息到哪个第一主消息服务器1151。

具体而言，第一生产代理服务器集群根据消息的主题信息从路由信息中确定存储有同样主题信息的第一主消息服务器1151，并将消息发送到有同样主题信息的某一第一主消息服务器1151。将第一生产者集群111的生产的消息推送到存活的第一主消息服务器1151，如此消息在同一数据中心传输，能够降低网络抖动对消息推送的影响，降低延迟。

由于第一生产者代理集群112是定时从第一状态服务器集群116获取路由信息的，第一生产者代理集群112无法实时感知第一主消息服务器1151是否故障。因而，存在路由信息中能够查询到某一第一主消息服务器1151，实际上该第一主消息服务器1151已故障的情况。由于在创建主题信息的时候，会把主题信息的多个消息队列创建在多个消息服务器组上，这样当一个消息服务器组的主消息服务器不可用后，若其他组的主消息服务器仍然可用，第一生产代理服务器集群仍然可以发送消息到其他的主消息服务器，以实现消息中间件集群的高可用。在向第一主服务器发送消息失败时，重新根据路由信息确定其他存活的第一主消息服务器1151，并向其他存活的第一主消息服务器1151发送消息。

当路由信息中不存在没有第一主消息服务器1151时，说明第一数据中心11的第一主消息服务器1151均发生了故障，此时，第一生产代理服务器集群将消息发送到第二数据中心12的第二主消息服务器1251，以实现消息发送的高可用。

第一消费者代理集群114同样跟第一状态服务器集群116建立有长连接，并定期从第一状态服务器集群116获取路由信息。

第一消费者代理集群114跟第一消息中间件集群115建立有长连接，根据路由信息的主题信息定时从对应的消息服务组拉取消息。

第一消费者代理集群114既可以被配置为从消息服务组的第一主消息服务器1151拉取消息，也可以被配置为从第一从消息服务器1152拉取消息。第一消费者代理集群114在拉取到消息后，将消息发送到消费者集群中订阅消息的主题信息的消费者。

当第一消费者代理集群114被配置为从消息服务组的第一主消息服务器1151拉取消息时，若根据路由信息查询到存储消息的第一主消息服务器1151是存活状态，则从该第一主消息服务器1151拉取消息；若根据路由信息查询不到该第一主消息服务器1151，说明该主消息服务器出现故障，则根据路由信息确定该第一主消息服务器1151的第一从消息服务器1152存活时，从该第一从消息服务器1152拉取消息。若根据路由信息既查询不到该第一主消息服务器1151，也查询不到第一主消息服务器1151的第一从消息服务器1152，则说明第一主消息服务器1151和第一从消息服务器1152均出现故障，则向该消息服务器组1150的第二从消息服务器1252拉取消息。第一消费者代理集群114优先从位于同一数据中心的第一主消息服务器1151或第一从消息服务器1152拉取消息，能够降低通讯网络抖动影响中间件服务，降低消息消费的延迟。

在第一消费者代理集群114未及时感知第一主消息服务器1151发生故障时，在向该第一主消息服务器1151拉取消息失败后，重新从该第一主消息服务器1151的第一从消息服务器1152拉取消息。若从第一从消息拉取消息失败，第一消费者代理集群114继续从该第一主消息服务器1151的第二从消息服务器1252拉取消息。由于第一主消息服务器1151具有跨机房的备用机(第二从消息服务器1252)，在第一数据中心11的第一主消息服务器1151和第一从消息服务器1152故障时，仍然能够从第二从消息服务器1252拉取消息，从而实现消息拉取的高可用。

在第一数据中心11的第一主消息服务器1151的故障未修复前，来自第一生产者集群111的消息会由第一生产者代理集群112发送到第二数据中心12的第二主消息服务器1251。在该情况下，第一消费者代理集群114从第二主消息服务器1251，或从第二主消息服务器1251的第二从消息服务器1252拉取消息。当然，在第二主消息服务器1251的第一从消息服务器1152存活时，第一消费者代理集群114可以从第一从消息服务器1152拉取消息，从而降低消息消费的延迟。

第一消费者代理集群114拉取到消息后，缓存该消息。第一消费者代理集群114可以是将消息推送给第一消费者集群113，也可以是第一消费者集群113从第一消费代理集群114拉取消息。

通过第一生产者代理集群112接收第一生产者集群111生产的消息并推送到消息中间件集群，以及第一消费者代理集群114从消息中间件集群拉取消息并分发，不需要第一生产者集群111、第一消费者集群113中的多个节点与消息中间件集群直接连接，从而能够提高消息中间件集群的稳定性，减少对消息中间件的性能的占用。

请参阅图2，图2是本申请提供的一种消息处理方法第一实施例的流程示意图。本实施例应用于消息处理系统，本实施例包括如下步骤：

S210：第一生产者集群将生产的消息发送到第一生产者代理集群。

本实施例中，消息处理系统包括至少第一数据中心和第二数据中心，第一数据中心包括第一生产者集群、第一生产者代理集群、第一消费者集群、第一消费者代理集群和第一消息中间件集群，第二数据中心包括第二消息中间件集群，第一消息中间件集群包括至少两个第一主消息服务器和第一从消息服务器，第二消息中间件集群包括至少两个第二主消息服务器和第二从消息服务器，每一第一主消息服务器配置有至少一个第一从消息服务器和第二从消息服务器以构成消息服务器组。一个消息服务器组中各消息服务器存储的消息是一致的，第一主消息服务器接收到的消息可以通过同步双写或异步复制的方式将消息同步到第一从消息服务器和第二从消息服务器，从而实现对第一主消息服务器中数据的本地备份和异地备份，以实现消息中间件的高可用。

由于第一生产者集群与位于同一数据中心的第一生产者代理集群距离最近，第一生产者集群将消息发送到第一生产者代理集群，如此能够降低消息发送的延迟，提高消息推送的效率。

S220：第一生产者代理集群接收消息。

第一生产者代理集群接收来自第一生产者集群发送的消息，第一生产者代理集群在将该消息发送到对应的主消息服务器之前，暂存该消息。

S230：第一生产者代理集群获取消息的路由信息，路由信息包括第一数据中心存活的第一主消息服务器。

消息处理系统还可以包括第一状态服务器，第一状态服务器用于记录第一消息中间件集群的路由信息。第一生产者代理集群可以是定时从第一状态服务器获取路由信息。当然，也可以是第一消息中间件集群定时将自身状态信息发送到第一生产者代理集群，由第一生产者代理集群管控第一中间件集群的路由信息。

路由信息包括消息服务器标识、消息服务器地址、消息服务器名称、该消息服务器所属的集群名称和主题信息等。路由信息记录的是存活的消息服务器，根据路由信息能够确定将消息发送到哪一个主消息服务器。

路由信息中不存在的消息服务器，说明该消息服务器可能故障，消息不会被路由到该消息服务器上。

S240：若路由信息中存在存活的第一主消息服务器，第一生产者代理集群将消息发送到存活的第一主消息服务器。

第一生产者代理集群将消息发送到存活的第一主消息服务器，该第一主消息服务器存储消息，执行S250。

由于第一生产者代理集群是定时获取路由信息的，第一生产者代理集群无法实时感知第一主消息服务器是否故障。因而，存在路由信息中能够查询到某一第一主消息服务器，实际上该第一主消息服务器已故障的情况。由于在创建主题信息的时候，会把主题信息的多个消息队列创建在多个消息服务器组上，这样当一个消息服务器组的主消息服务器不可用后，若其他组的主消息服务器仍然可用，第一生产代理服务器集群仍然可以发送消息到其他的主消息服务器，以实现消息中间件集群的高可用。在向第一主服务器发送消息失败时，重新根据路由信息确定其他存活的第一主消息服务器，并向其他存活的第一主消息服务器发送消息。

S250：第一消费者代理集群从第一主消息服务器或第一主消息服务器的第一从消息服务器/第二从消息服务器拉取消息。

由于第一主消息服务器和第一主消息服务器的第一从消息服务器中存储的消息是一致的，因此第一消费者代理集群既可以从第一主消息服务器拉取消息，也可以从第一主消息服务器的第一从消息服务器拉取消息，根据第一消费者代理集群的配置决定。

当第一消费者代理集群被配置为从消息服务组的第一主消息服务器拉取消息时，若根据路由信息查询到存储消息的第一主消息服务器是存活状态，则从该第一主消息服务器拉取消息；若根据路由信息查询不到该第一主消息服务器，说明该主消息服务器出现故障，则根据路由信息确定该第一主消息服务器的第一从消息服务器存活时，从该第一从消息服务器拉取消息。若根据路由信息查询既不到该第一主消息服务器，也查询不到第一主消息服务器的第二主消息服务器，则说明第一主消息服务器和第二主消息服务器均出现故障，则向该消息服务器组的第二从消息服务器拉取消息。

第一消费者代理集群优先从位于同一数据中心的第一主消息服务器或第一从消息服务器拉取消息，能够降低通讯网络抖动影响中间件服务，降低消息消费的延迟。

在第一消费者代理集群未及时感知第一主消息服务器发生故障时，在向该第一主消息服务器拉取消息失败后，重新从该第一主消息服务器的第一从消息服务器拉取消息。若从第一从消息拉取消息失败，第一消费者代理集群继续从该第一主消息服务器的第二从消息服务器拉取消息。

由于第一主消息服务器具有跨机房的备用机(第二从消息服务器)，在第一数据中心的第一主消息服务器和第一从消息服务器故障时，仍然能够从第二从消息服务器拉取消息，从而实现消息拉取的高可用。

S260：若路由信息中不存在存活的第一主消息服务器，第一生产者代理集群将消息发送到第二主消息服务器。

在第一数据中心的所有第一主消息服务器均故障的情况下，第一生产者代理集群将消息发送到第二主消息服务器，从而实现消息推送的高可用。

同样地，发送到第二主消息服务器的消息也会经过同步双写或异地复制的方式同步到其从消息服务器。

S270：第一消费者代理集群从第二主消息服务器或第二主消息服务器的从消息服务器拉取消息。

在第一数据中心的第一主消息服务器的故障未修复前，来自第一生产者集群的消息会由第一生产者代理集群发送到第二数据中心的第二主消息服务器。在该情况下，第一消费者代理集群从第二主消息服务器，或从第二主消息服务器的第二从消息服务器拉取消息。当然，在第二主消息服务器的第一从消息服务器存活时，第一消费者代理集群可以从第一从消息服务器拉取消息，从而降低消息消费的延迟。

S280：第一消费者代理集群将消息发送到第一消费者集群，或第一消费者集群从第一消费代理集群拉取消息。

第一消费者代理集群根据消息的主题信息，确定第一消费者集群中订阅该主题信息的节点，并将消息发送给订阅该主题的各节点。或者，第一消费者集群订阅有与消息的主题信息相同的主题信息，第一消费者集群从第一消费代理集群拉取消息。

本实施例通过在第一数据中心设置第一生产者代理集群和第一消费者代理集群，在第一生产者代理集群确定同一数据中心存在第一主消息服务器存活时，将第一生产者集群的生产的消息推送到存活的第一主消息服务器，如此消息在同一数据中心传输，能够降低网络抖动对消息推送的影响，降低延迟。并且，每一消息服务器组包括第一主消息服务和第一从消息服务器，以及跨数据中心部署的第二从消息服务器，第一主消息服务器和第一从消息服务器、第二从消息服务器之间消息同步，使得第一数据消息中间件集群整体发生故障时，还能够从第二从消息服务器拉取消息，从而实现消息中间件集群的高可用。

请参阅图3，图3是本申请提供的一种消息处理方法第二实施例的流程示意图。本实施例应用于消息处理系统中的第一生产者代理集群，本实施例包括如下步骤：

S310：第一生产者代理集群接收来自第一生产者集群生产的消息。

本步骤对应于一种消息处理方法第一实施例的S220，故在此不再赘述。

S320：第一生产者代理集群获取消息的路由信息，路由信息包括第一数据中心存活的第一主消息服务器。

本步骤对应于一种消息处理方法第一实施例的S230，故在此不再赘述。

S330：若路由信息中存在存活的第一主消息服务器，第一生产者代理集群将消息发送到存活的第一主消息服务器，以使得第一消费者代理集群能够从第一主消息服务器或第一主消息服务器的第一从消息服务器/第二从消息服务器拉取消息。

本步骤对应于一种消息处理方法第一实施例的S240，故在此不再赘述。

S340：若路由信息中不存在存活的第一主消息服务器，则第一生产者代理集群将消息发送到第二主消息服务器，以使得第一消费者代理集群能够从第二主消息服务器或第二主消息服务器的从消息服务器拉取消息。

本步骤对应于一种消息处理方法第一实施例的S260，故在此不再赘述。

请参阅图4，图4是本申请提供的一种消息处理方法第三实施例的流程示意图。本实施例的执行主体为消息处理系统中的第一消费者代理集群，本实施例包括如下步骤：

S410：第一消费者代理集群从第一主消息服务器或第一主消息服务器的第一从消息服务器/第二从消息服务器拉取消息。

本步骤对应于一种消息处理方法第一实施例的S250，故在此不再赘述。

S420：第一消费者代理集群从第二主消息服务器或第二主消息服务器的从消息服务器拉取消息。

本步骤对应于一种消息处理方法第一实施例的S270，故在此不再赘述。

S430：第一消费者代理集群将消息推送到第一消费者集群。

本步骤对应于一种消息处理方法第一实施例的S280，故在此不再赘述。

请参阅图5，图5是本申请提供的消息处理装置一实施例的结构示意图。本实施例消息处理装置500可以包括生产者代理模块501、消息中间件模块502和消费者代理模块503。

其中，生产者代理模块501用于确定位于同一数据中心的消息中间件集群存活时，将来自生产者集群生产的消息发送到同一数据中心的消息中间件集群；确定位于同一数据中心的消息中间件集群故障时，将来自生产者集群生产的消息发送到其他数据中心的消息中间件集群。

消息中间件模块502用于接收并存储来自所述生产者代理集群发送的所述消息。

消费者代理模块503用于从所述消息中间件模块拉取所述消息。

上述消息处理方法的第一实施例由消息处理设备实现，因而本申请还提出消息处理设备，请参阅图6，图6是本申请提供的消息处理设备一实施例的结构示意图。本实施消息处理设备600可以包括相互连接的处理器601、存储器602和通信电路603。其中，通信电路603用于接收、推送或拉取消息；存储器602用于存储消息。处理器601用于确定位于同一数据中心的消息中间件集群存活时，将来自生产者集群生产的消息发送到同一数据中心的消息中间件集群；确定位于同一数据中心的消息中间件集群故障时，将来自生产者集群生产的消息发送到其他数据中心的消息中间件集群。或者，处理器601用于从同一数据中心的消息中间件集群或其他数据中心的消息中间件集群消息中间件拉取消息。

其中，处理器601可以是一种集成电路芯片，具有信号的处理能力。处理器601还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

对于上述实施例的方法，其可以计算机程序的形式存在，因而本申请提出一种计算机可读存储介质，请参阅图7，图7是本申请提供的计算机可读存储介质一实施例的结构示意图。本实施例计算机可读存储介质700中存储有计算机程序701，其可被执行以实现上述实施例中的方法。

本实施例计算机可读存储介质700可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质，或者也可以为存储有该程序指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种消息处理系统，其特征在于，所述消息处理系统包括至少第一数据中心和第二数据中心，所述第一所述数据中心包括第一生产者集群、第一生产者代理集群、第一消费者集群、第一消费者代理集群和第一消息中间件集群，所述第二数据中心包括第二消息中间件集群，所述第一消息中间件集群包括至少两个第一主消息服务器和第一从消息服务器，所述第二消息中间件集群包括至少两个第二主消息服务器和第二从消息服务器，每一所述第一主消息服务器配置有至少一个所述第一从消息服务器和所述第二从消息服务器以构成消息服务器组；

所述第一生产者代理集群被配置确定存在所述第一主消息服务器存活时，将来自所述第一生产者集群的消息发送到存活的第一主消息服务器；或在确定所述第一主消息服务器均故障时，将所述消息发送到所述第二主消息服务器；

所述第一消费者代理集群被配置为从存储所述消息的所述消息服务器组获取的所述消息，并将所述消息推送到同一数据中心的所述第一消费者集群；或

所述第一消费者集群被配置为从所述第一消费者代理集群拉取所述消息；

所述主消息服务器被配置为向所述第一从消息服务器和所述第二同步所述消息。

2.根据权利要求1所述的系统，其特征在于，所述第一数据中心还包括第一状态服务器集群，所述第一状态服务器集群用于维护所述第一消息中间件集群的路由信息；

所述第一生产者代理集群还被配置为从所述第一状态服务器集群获取所述路由信息，并根据所述路由信息确定所述第一数据中心是否存在存活的第一主消息服务器。

3.根据权利要求2所述的系统，其特征在于，

所述第一生产者代理集群被配置为在向所述第一主服务器发送所述消息失败时，重新根据所述路由信息确定其他存活的第一主消息服务器，并向所述其他存活的第一主消息服务器发送所述消息。

4.根据权利要求2所述的系统，其特征在于，

所述第一消费者代理集群还被配置为从所述第一状态服务器集群获取所述路由信息，并根据所述路由信息确定获取所述消息的第一主消息服务器和/或第一从消息服务器存活时，从存活的第一主消息服务器或第一从消息服务器获取所述消息，并将所述消息发送到所述第一消费者集群；或在确定所述第一主消息服务器和第一从消息服务器均故障时，从所述第一主消息服务器对应的第二从消息服务器获取所述消息。

5.根据权利要求4所述的系统，其特征在于，

所述第一消费者代理集群被配置为根据所述路由信息确定获取所述消息的第一主消息服务器，在从所述第一主服务器获取所述消息失败时，从与所述第一主服务器处于同一消息服务器组的第一从服务器获取所述消息。

6.根据权利要求1所述的系统，其特征在于，所述第一主消息服务器被配置为与所述第一从消息服务器、第二从消息服务器同步双写或异步复制，以使所述消息同步。

7.一种消息处理方法，其特征在于，应用于消息处理系统，消息处理系统包括至少第一数据中心和第二数据中心，所述第一所述数据中心包括第一生产者集群、第一生产者代理集群、第一消费者集群、第一消费者代理集群和第一消息中间件集群，所述第二数据中心包括第二消息中间件集群，所述第一消息中间件集群包括至少两个第一主消息服务器和第一从消息服务器，所述第二消息中间件集群包括至少两个第二主消息服务器和第二从消息服务器，每一所述第一主消息服务器配置有至少一个所述第一从消息服务器和所述第二从消息服务器以构成消息服务器组；所述方法包括：

所述第一生产者集群将生产的消息发送到所述第一生产者代理集群；

所述第一生产者代理集群接收所述消息；

所述第一生产者代理集群获取所述消息的路由信息，所述路由信息包括所述第一数据中心存活的第一主消息服务器；

若所述路由信息中存在存活的第一主消息服务器，所述第一生产者代理集群将所述消息发送到所述存活的第一主消息服务器；

所述第一消费者代理集群从所述第一主消息服务器或所述第一主消息服务器的第一从消息服务器/第二从消息服务器拉取所述消息；

若所述路由信息中不存在所述存活的第一主消息服务器，则所述第一生产者代理集群将所述消息发送到所述第二主消息服务器；

所述第一消费者代理集群从所述第二主消息服务器或所述第二主消息服务器的从消息服务器拉取所述消息；

所述第一消费者代理集群将所述消息发送到所述第一消费者集群；或

所述第一消费者集群从所述第一消费者代理集群拉取所述消息。

8.一种消息处理方法，其特征在于，应用于消息处理系统中的第一生产者代理集群，消息处理系统包括至少第一数据中心和第二数据中心，所述第一所述数据中心包括第一生产者集群、所述第一生产者代理集群、第一消费者集群、第一消费者代理集群和第一消息中间件集群，所述第二数据中心包括第二消息中间件集群，所述第一消息中间件集群包括至少两个第一主消息服务器和第一从消息服务器，所述第二消息中间件集群包括至少两个第二主消息服务器和第二从消息服务器，每一所述第一主消息服务器配置有至少一个所述第一从消息服务器和所述第二从消息服务器以构成消息服务器组；所述方法包括：

所述第一生产者代理集群接收来自所述第一生产者集群生产的消息；

所述第一生产者代理集群获取所述消息的路由信息，所述路由信息包括所述第一数据中心存活的第一主消息服务器；

若所述路由信息中存在存活的第一主消息服务器，所述第一生产者代理集群将所述消息发送到所述存活的第一主消息服务器，以使得所述第一消费者代理集群能够从所述第一主消息服务器或所述第一主消息服务器的第一从消息服务器/第二从消息服务器拉取所述消息；

若所述路由信息中不存在所述存活的第一主消息服务器，则所述第一生产者代理集群将所述消息发送到所述第二主消息服务器，以使得所述第一消费者代理集群能够从所述第二主消息服务器或所述第二主消息服务器的从消息服务器拉取所述消息。

9.一种消息处理方法，其特征在于，应用于消息处理系统中的第一消费者代理集群，消息处理系统包括至少第一数据中心和第二数据中心，所述第一所述数据中心包括第一生产者集群、第一生产者代理集群、第一消费者集群、所述第一消费者代理集群和第一消息中间件集群，所述第二数据中心包括第二消息中间件集群，所述第一消息中间件集群包括至少两个第一主消息服务器和第一从消息服务器，所述第二消息中间件集群包括至少两个第二主消息服务器和第二从消息服务器，每一所述第一主消息服务器配置有至少一个所述第一从消息服务器和所述第二从消息服务器以构成消息服务器组；所述方法包括：

所述第一消费者代理集群从所述第一主消息服务器或所述第一主消息服务器的第一从消息服务器/第二从消息服务器拉取所述消息；其中，所述消息是所述第一生产者代理集群根据路由信息确定存在存活的第一主消息服务器时，发送到所述第一主消息服务器的；或

所述第一消费者代理集群从所述第二主消息服务器或所述第二主消息服务器的从消息服务器拉取消息；其中，所述消息是所述第一生产者代理集群根据路由信息确定不存在存活的第一主消息服务器时，发送到所述第二主消息服务器的；

所述第一消费者代理集群将所述消息发送到所述第一消费者集群。

10.一种消息处理装置，其特征在于，所述消息处理装置包括：

生产者代理模块，用于确定位于同一数据中心的消息中间件集群存活时，将来自生产者集群生产的消息发送到同一数据中心的消息中间件集群；确定位于同一数据中心的消息中间件集群故障时，将来自生产者集群生产的消息发送到其他数据中心的消息中间件集群；

消息中间件模块，用于接收并存储来自所述生产者代理集群发送的所述消息；

消费者代理模块，用于从所述消息中间件模块拉取所述消息。

11.一种消息处理设备，其特征在于，所述消息处理设备包括处理器、存储器和通信电路；所述处理器耦接所述存储器和通信电路，在工作时执行指令，以配合所述存储器和通信电路实现如权利要求7至9任一项所述的消息处理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现如权利要求7至9中任一项所述的消息处理方法。

Images