CN111163172B

CN111163172B - 消息处理系统、方法、电子设备及存储介质

Info

Publication number: CN111163172B
Application number: CN201911421550.XA
Authority: CN
Inventors: 冯浩
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2022-04-22
Anticipated expiration: 2039-12-31
Also published as: CN111163172A

Abstract

本发明实施例提供了一种消息处理系统、方法、电子设备及存储介质，其中，消息处理系统，包括：生产集群，用于接收生产端发送的数据；消费集群，用于接收从生产集群中同步至消费集群的数据，以使消费端从消费集群中读取数据。通过本发明实施例提供的消息处理系统、方法、电子设备及存储介质，能够降低针对生产端的消息服务和针对消费端的消息服务之间的关联，提高消息服务的可用性。

Description

消息处理系统、方法、电子设备及存储介质

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种消息处理系统、方法、电子设备及存储介质。

背景技术

Kafka(卡夫卡)是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据，在互联网公司等都有着极其广泛的应用。

现有技术中，如图1所示，生产端与集群交互，以实现将数据保存在该集群中，同时，消费端与同一集群交互，以实现从集群中读取数据，如业务1对应的消费端1、业务2对应的消费端2，业务3对应的消费端3，等等均与集群交互。且Kafka支持广播模式，即支持一份数据多次被消费的场景，如此会存在大量相同数据，同时被众多消费端消费的情况，随着业务不断增加，会导致集群的负载不断变大进而到达集群的容量上限，甚至会超过集群负载而使得集群不可用。现有技术中，数据的生产和消费全部在同一个集群完成，即生产端和消费端均与同一个集群交互，集群的负载过大甚至不可用等会使得针对生产端和消费端的消息服务均受到影响，如此会使得消息服务的可用性受影响。

发明内容

本发明实施例的目的在于提供一种消息处理系统、方法、电子设备及存储介质，以降低针对生产端的消息服务和针对消费端的消息服务之间的关联，提高消息服务的可用性。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种消息处理系统，包括：

生产集群，用于接收生产端发送的数据；

消费集群，用于接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据。

一种可选的实施例中，所述消费集群包括多个业务子集群；

针对各个业务子集群，所述业务子集群，用于接收业务关联数据，以使业务对应的消费端从所述业务子集群中读取所述业务关联数据，所述业务关联数据是从所述生产集群中同步至所述业务子集群的、与所述业务相关联的数据。

一种可选的实施例中，所述消费集群包括新增业务子集群；

所述新增业务子集群，用于接收新增业务关联数据，以使新增业务对应的消费端从所述新增业务子集群中读取所述新增业务关联数据，所述新增业务子集群是当针对所述新增业务对所述消息处理系统进行扩容时，在所述消费集群中添加的业务子集群；所述新增业务关联数据是从所述生产集群中同步至所述新增业务子集群，与所述新增业务相关联的数据。

一种可选的实施例中，所述消息处理系统还包括同步器，所述同步器，用于通过流处理方式，将所述生产集群中的数据同步至所述消费集群。

在本发明实施的第二方面，还提供了一种消息处理方法，应用于包括生产集群和消费集群的消息处理系统，所述方法包括：

所述生产集群接收生产端发送的数据；

所述消费集群接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据。

一种可选的实施例中，所述消费集群包括多个业务子集群；

针对各个业务子集群，所述消费集群接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据，包括：

所述业务子集群，接收从所述生产集群中同步至所述业务子集群的业务关联数据，以使业务对应的消费端从所述业务子集群中读取所述业务关联数据；其中，所述业务关联数据是所述数据中与所述业务相关联的数据。

一种可选的实施例中，所述消费集群包括新增业务子集群；

所述消费集群接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据，包括：

所述新增业务子集群，接收从所述生产集群中同步至所述新增业务子集群的新增业务关联数据，以使新增业务对应的消费端从所述新增业务子集群中读取所述新增业务关联数据；其中，所述新增业务子集群是当针对所述新增业务对所述消息处理系统进行扩容时，在所述消费集群中添加的业务子集群；所述新增业务关联数据是与所述数据中所述新增业务相关联的数据。

一种可选的实施例中，所述消息处理系统还包括同步器；

在所述生产集群接收生产端发送的数据之后，所述方法包括：

所述同步器通过流处理方式，将所述生产集群中的数据同步至消费集群；

所述消费集群接收从所述生产集群中同步至所述消费集群的所述数据，包括：

所述消费集群接收所述数据。

在本发明实施的第三方面，还提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第二方面所述方法的方法步骤。

在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第二方面所述方法的方法步骤。

在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面所述方法的方法步骤。

本发明实施例提供的消息处理系统、方法、电子设备及存储介质，消息处理系统包括与生产端交互的生产集群，以及与消费端交互的消费集群，通过生产集群提供针对生产端的消息服务，通过消费集群提供针对消费端的消息服务，即可以实现针对生产端的消息服务和针对消费端的消息服务之间的分离，如此能够降低针对生产端的消息服务和针对消费端的消息服务之间的关联，可以降低针对生产端的消息服务对针对消费端的消息服务的影响以及降低针对消费端的消息服务对针对生产端的消息服务的影响，提高消息服务的可用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为现有技术中消息系统的结构示意图；

图2为本发明实施例中提供的消息处理系统的一种结构示意图；

图3为本发明实施例中提供的消息处理系统的另一种结构示意图；

图4为本发明实施例中提供的消息处理系统的又一种结构示意图；

图5为本发明实施例中提供的消息处理方法的流程图；

图6为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

现有技术中，生产端和消费端与同一集群交互，即通过一个集群，既提供针对生产端的消息服务，又提供针对消费端的消息服务。如此，当出现集群负载过大使得处理数据的速度较慢，或者集群不可用等情况时，针对生产端的消息服务和针对消费端的消息服务均会受到影响。另外，当为了满足更多的业务需求，需要对集群进行扩容时，因为集群同时提供针对生产端的消息服务和针对消费端的消息服务，如此会导致对集群进行扩容的过程中，针对生产端的消息服务和针对消费端的消息服务也均会受到影响。

为了降低针对生产端的消息服务和针对消费端的消息服务之间的关联，本发明实施例提供了一种消息处理系统，通过生产集群提供针对生产端的消息服务，通过消费集群提供针对消费端的消息服务，即可以实现针对生产端的消息服务和针对消费端的消息服务之间的分离，如此能够降低针对生产端的消息服务和针对消费端的消息服务之间的关联，进一步可以提高消息服务的可用性，满足业务场景等对高可用的需求。

另外，本发明实施例提供的消息处理系统可以解决现有通过同一集群同时实现针对生产端的消息服务和针对消费端的消费服务的过程中，容易出现瓶颈，不容易扩展的问题，本发明实施例中当生产端对应的业务量变大时，可以仅对生产集群进行扩容，可以降低扩容过程中针对消费端的消息服务的影响；当消费端对应的业务量变大时，可以仅对消费集群进行扩容，如此可以降低出现瓶颈的可能，且能够降低扩展的难度，同时可以降低扩容过程中针对生产端的消息服务的影响。且本发明实施例提供的消息处理系统中，消费集群可以包括多个子集群，各个子集群分别与对应的业务进行交互，如此，可以降低针对各个业务的消息服务之间的影响，同时，在对消费集群的扩容过程中，可以在消费集群中添加与新增业务对应的子集群，可以避免扩容过程中对已有业务的影响。

本发明实施例提供了一种消息处理系统，如图2所示，可以包括：

生产集群201，用于接收生产端发送的数据；

消费集群202，用于接收从生产集群201中同步至消费集群202的数据，以使消费端从消费集群202中读取数据。

本发明实施例中，消息处理系统包括与生产端交互的生产集群，以及与消费端交互的消费集群，通过生产集群提供针对生产端的消息服务，通过消费集群提供针对消费端的消息服务，即可以实现针对生产端的消息服务和针对消费端的消息服务之间的分离，如此能够降低针对生产端的消息服务和针对消费端的消息服务之间的关联，可以降低针对生产端的消息服务对针对消费端的消息服务的影响以及降低针对消费端的消息服务对针对生产端的消息服务的影响，提高消息服务的可用性。

参照图2，对本发明实施例提供的消息处理系统进行详细说明。

本发明实施例中，生产集群201，用于接收生产端发送的数据。

生产集群201与生产端交互，以接收生产端发送的数据。生产集群201只对生产端开放，消费端无法访问也不可见。

消费集群与消费端交互，以使消费端从消费集群202中读取数据。消费集群202只对消费端开放，生产端无法访问也不可见。

本发明实施例中，消息处理系统包括与生产端交互的生产集群，以及与消费端交互的消费集群，通过生产集群提供针对生产端的消息服务，通过消费集群提供针对消费端的消息服务，即可以实现针对生产端的消息服务和针对消费端的消息服务之间的分离，如此能够降低针对生产端的消息服务和针对消费端的消息服务之间的关联，可以提高消息服务的可用性，满足业务场景等对高可用的需求。

同时，本发明实施例提供的消息处理系统可以解决现有通过同一集群同时实现针对生产端的消息服务和针对消费端的消费服务的过程中，容易出现瓶颈，不容易扩展的问题，本发明实施例中当生产端对应的业务量变大时，可以仅对生产集群进行扩容，可以降低扩容过程中针对消费端的消息服务的影响；当消费端对应的业务量变大时，可以仅对消费集群进行扩容，如此可以降低出现瓶颈的可能，且能够降低扩展的难度，同时可以降低扩容过程中针对生产端的消息服务的影响。

本发明实施例中，可以实现生产集群与消费集群之间的数据同步，具体地，将生产集群中的数据同步至消费集群。

一种可实现方式中，当生产集群中接收到数据时，生产集群将数据发送至消费集群，以实现将生产集群中的数据同步是消费集群。如生产集群可以通过流处理方式将数据同步至消费集群，具体地，生产集群中可以包括同步模块，该同步模块通过流处理方式将数据同步至消费集群。

另一种可实现方式中，消费集群可以实时从生产集群中拉取数据，如当生产集群中接收到数据时，消费集群可以从生产集群中获取数据，以实现将生产集群中的数据同步是消费集群。如消费集群可以通过流处理方式，从生产集群中获取数据，以实现将生产集群中的数据同步是消费集群，具体地，消费集群中可以包括同步模块，该同步模块通过流处理方式，从生产集群中获取数据，以实现将生产集群中的数据同步是消费集群。

另一种可实现方式中，如图3所示，消息处理系统还包括同步器203，同步器203，用于通过流处理方式，将生产集群中的数据同步至消费集群。其中，同步器可以是接口，软件开发工具包，计算框架等等。流处理方式可以包括Flink方式等等。一种可实现方式中，消息处理系统可以为Kafka。

本发明实施例可以实现生产集群与消费集群之间数据的同步，可以实现将现有技术中同时提供针对生产端和针对消费端的消息服务的一个集群拆分为两个集群，如此可以实现用于生产消息与消费消息的集群的分离，降低用于提供针对生产端的消息服务的生产集群与针对消费端的消息服务的消费集群之间的关联，进而实现针对生产端的消息服务与针对消费端的消息服务之间的分离，能够降低针对生产端的消息服务和针对消费端的消息服务之间的关联。通过针对生产端和针对消费端的消息服务的集群之间的隔离以及引入同步器，可以实现针对生产端的消息服务与针对消费端的消息服务的分离。

且本发明可以通过Flink方式等流处理方式实现同步的过程中，因为Flink本身是无状态的，即Flink本身无持久化，也可以理解为Flink不实现存储功能，Flink中的数据只在Flink计算过程中存在。如此，当读写性能出现不足时，如生产集群或者消费集群的性能不足时，可以只扩容Flink计算资源即可，可以实现无状态的纵向扩容。

一种可选的实施例中，消费集群可以包括多个业务子集群。

针对各个业务子集群，业务子集群，用于接收业务关联数据，以使业务对应的消费端从业务子集群中读取业务关联数据，业务关联数据是从生产集群中同步至业务子集群的、与业务相关联的数据。

如图4所示，消费集群可以包括业务子集群1，…，业务子集群N。各个业务子集群可以分别与一个或者多个消费端进行交互。如业务子集群1分别与消费端1和消费端2交互，以使消费端1和消费端2分别从业务子集群1获取数据；业务子集群N与消费端N交互，以使消费端N从业务子集群N获取数据。

如此，可以针对不同的业务，分别通过消费端与对应的业务子集群进行交互，实现不同业务之间的解耦，降低针对不同业务的消息服务之间的影响。

随着业务等的发展，可能会存在对消息处理系统进行扩容的需求，本发明一种可选的实施例中，可以在消费集群中增加新增业务对应的业务子集群。如一种可实现方式中，可以在同步器如Flink Syner中，增加新增业务对应的业务子集群。具体地，消费集群包括新增业务子集群。

新增业务子集群，用于接收新增业务关联数据，以使新增业务对应的消费端从新增业务子集群中读取新增业务关联数据。

新增业务子集群是当针对新增业务对消息处理系统进行扩容时，在消费集群中添加的业务子集群；新增业务关联数据是从生产集群中同步至新增业务子集群，与新增业务相关联的数据。

本发明实施例中，在对消费集群的扩容过程中，可以在消费集群中添加与新增业务对应的子集群，能够降低扩容的难度，且可以避免扩容过程中对已有业务的影响，同时，也不会影响针对生产端的消息服务，如不会影响生产集群接收生产端发送的数据，不会影响针对生产集群的监控等等。

本发明实施例还提供了一种消息处理方法，可以应用于包括生产集群和消费集群的消息处理系统，如图5所示，消息处理方法可以包括：

S501，生产集群接收生产端发送的数据。

S502，消费集群接收从生产集群中同步至消费集群的数据，以使消费端从消费集群中读取数据。

一种可选的实施例中，消费集群包括多个业务子集群。

针对各个业务子集群，S502可以包括：

业务子集群，接收从生产集群中同步至业务子集群的业务关联数据，以使业务对应的消费端从业务子集群中读取业务关联数据；其中，业务关联数据是数据中与业务相关联的数据。

一种可选的实施例中，消费集群包括新增业务子集群。

S502可以包括：

新增业务子集群，接收从生产集群中同步至新增业务子集群的新增业务关联数据，以使新增业务对应的消费端从新增业务子集群中读取新增业务关联数据；其中，新增业务子集群是当针对新增业务对消息处理系统进行扩容时，在消费集群中添加的业务子集群。新增业务关联数据是与数据中新增业务相关联的数据。

一种可选的实施例中，消息处理系统还包括同步器。

在S501之后，可以包括：

同步器通过流处理方式，将生产集群中的数据同步至消费集群。

S502可以包括：

消费集群接收数据。

对应于上述实施例提供的消息处理方法，本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。

存储器603，用于存放计算机程序；

处理器601，用于执行存储器603上所存放的程序时，实现上述实施例中消息处理方法的方法步骤。

上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

对应于上述实施例提供的消息处理方法，在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中消息处理方法的方法步骤。

对应于上述实施例提供的消息处理方法，在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中消息处理方法的方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于系统实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种消息处理系统，其特征在于，包括：

生产集群，用于接收生产端发送的数据；

消费集群，用于接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据；

所述消费集群包括新增业务子集群；

2.根据权利要求1所述的消息处理系统，其特征在于，所述消费集群包括多个业务子集群；

3.根据权利要求1或2所述的消息处理系统，其特征在于，所述消息处理系统还包括同步器，所述同步器，用于通过流处理方式，将所述生产集群中的数据同步至所述消费集群。

4.一种消息处理方法，其特征在于，应用于包括生产集群和消费集群的消息处理系统，所述方法包括：

所述生产集群接收生产端发送的数据；

所述消费集群接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据；

所述消费集群包括新增业务子集群；

5.根据权利要求4所述的方法，其特征在于，所述消费集群包括多个业务子集群；

6.根据权利要求4或5所述方法，其特征在于，所述消息处理系统还包括同步器；

所述消费集群接收所述数据。

7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求4-6任一所述方法的方法步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求4-6任一所述方法的方法步骤。