CN113347263A - 消息集群管理方法和系统 - Google Patents

消息集群管理方法和系统 Download PDF

Info

Publication number
CN113347263A
CN113347263A CN202110653892.5A CN202110653892A CN113347263A CN 113347263 A CN113347263 A CN 113347263A CN 202110653892 A CN202110653892 A CN 202110653892A CN 113347263 A CN113347263 A CN 113347263A
Authority
CN
China
Prior art keywords
cluster
service address
migrated
client
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110653892.5A
Other languages
English (en)
Other versions
CN113347263B (zh
Inventor
常哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhongtongji Network Technology Co Ltd
Original Assignee
Shanghai Zhongtongji Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhongtongji Network Technology Co Ltd filed Critical Shanghai Zhongtongji Network Technology Co Ltd
Priority to CN202110653892.5A priority Critical patent/CN113347263B/zh
Publication of CN113347263A publication Critical patent/CN113347263A/zh
Application granted granted Critical
Publication of CN113347263B publication Critical patent/CN113347263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/148—Migration or transfer of sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种消息集群管理方法和系统，将客户端的应用服务地址配置为Zookeeper集群的服务地址；将客户端发送的待迁移信息存储到Zookeeper集群中；利用Zookeeper集群监测待迁移信息的数据变化，确定待迁移信息的待迁移集群；从Zookeeper集群中存储的集群服务地址集合中，匹配出待迁移集群的目标服务地址；将待迁移信息迁移到目标服务地址对应的目标集群，完成待迁移信息的平滑迁移。本方案设置了存储有集群服务地址集合的Zookeeper集群，利用Zookeeper集群可以直接将待迁移信息迁移到目标服务地址，无需更改客户端配置的集群服务地址，也无需重启，减少了集群迁移时长和迁移复杂度，提高了集群迁移效率。

Description

消息集群管理方法和系统
技术领域
本发明涉及消息集群管理技术领域，具体涉及一种消息集群管理方法和系统。
背景技术
现如今，快递行业发展迅速，快递公司的业务量也逐渐增长，消息服务需求不断增多，主题和消费者组增加至5000个以上，客户端与集群服务地址的管理、主题与消费组的迁移也变得复杂。
现有技术中，主题和消费者组切换集群时需要更改客户端配置的集群的服务地址，然后再进行重启才可实现主题和消费者组集群的迁移。但是，更改客户端配置的集群服务地址以及重新启动导致迁移过程复杂，而且还会浪费主题和消费者组进行集群迁移的时间，导致迁移效率较低。
因此，如何提高主题和消费者组进行集群迁移的迁移效率，降低迁移复杂度是本领域技术人员亟需解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种消息集群管理方法和系统，以解决现有技术中更改客户端配置的集群服务地址以及重新启动导致迁移过程复杂，而且还会浪费主题和消费者组进行集群迁移的时间，导致迁移效率较低的问题。
为实现以上目的，本发明采用如下技术方案：
一种消息集群管理方法，包括：
将预先搭建Zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为所述迁移服务地址；
将客户端发送的待迁移信息存储到所述Zookeeper集群中；
利用所述Zookeeper集群监测所述待迁移信息的数据变化，确定所述待迁移信息的待迁移集群；
从所述Zookeeper集群中存储的集群服务地址集合中，匹配出所述待迁移集群的目标服务地址；
将所述待迁移信息迁移到所述目标服务地址对应的目标集群，以完成所述待迁移信息的平滑迁移。
进一步地，上述消息集群管理方法中，所述将预先搭建Zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为所述迁移服务地址之前，还包括：
搭建所述Zookeeper集群；
将与所述客户端相匹配的各个集群的服务地址集合，得到所述集群服务地址集合；
将所述集群服务地址集合存储到所述Zookeeper集群。
进一步地，上述消息集群管理方法中，所述客户端包括：发送客户端和消费客户端；
所述将客户端的应用服务地址配置为所述迁移服务地址，包括：
将所述发送客户端的应用服务地址和所述消费客户端的应用服务地址均配置为所述迁移服务地址。
进一步地，上述消息集群管理方法中，所述待迁移信息包括：所述发送客户端发送的主题集群信息、所述消费客户端发送的消费者组集群信息以及主题与消费者组的订阅关系信息。
本发明还提供了一种消息集群管理系统，包括：处理器以及与所述处理器相连的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述消息集群管理方法；
所述处理器用于调用并执行所述计算机程序。
一种消息集群管理方法和系统，方法包括：将预先搭建Zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为迁移服务地址；将客户端发送的待迁移信息存储到Zookeeper集群中；利用Zookeeper集群监测待迁移信息的数据变化，确定待迁移信息的待迁移集群；从Zookeeper集群中存储的集群服务地址集合中，匹配出待迁移集群的目标服务地址；将待迁移信息迁移到目标服务地址对应的目标集群，以完成待迁移信息的平滑迁移。采用本发明的技术方案，设置存储有集群服务地址集合的Zookeeper集群，利用Zookeeper集群可以直接将待迁移信息迁移到目标服务地址，无需更改客户端配置的集群服务地址，也无需重启，减少了集群迁移时长和迁移复杂度，提高了集群迁移效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的消息集群管理方法一种实施例提供的流程图；
图2是本发明的消息集群管理系统一种实施例提供的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
图1是本发明的消息集群管理方法一种实施例提供的流程图，如图1所示，本实施例的消息集群管理方法具体包括如下步骤：
S101、将预先搭建Zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为迁移服务地址。
本实施例预先搭建有Zookeeper集群，并将该Zookeeper集群的服务地址作为迁移服务地址。本实施例需要将客户端的应用服务地址配置为迁移服务地址。其中，客户端包括：发送客户端和消费客户端，发送客户端可以发送主题集群信息，消费客户端可以发送消费者组集群信息。具体地，本实施例需要将发送客户端的应用服务地址和消费客户端的应用服务地址均配置为迁移服务地址。
S102、将客户端发送的待迁移信息存储到Zookeeper集群中。
本实施例中，客户端需要进行信息迁移时，需要将客户端发送的待迁移信息存储的预先搭建的Zookeeper集群中。其中，待迁移信息包括：发送客户端发送的主题集群信息、消费客户端发送的消费者组集群信息以及主题与消费者组的订阅关系信息。
S103、利用Zookeeper集群监测待迁移信息的数据变化，确定待迁移信息的待迁移集群。
本实施例可以通过Zookeeper集群对待迁移信息的数据变化进行监测，从而确定待迁移信息需要迁移到的待迁移集群。
S104、从Zookeeper集群中存储的集群服务地址集合中，匹配出待迁移集群的目标服务地址。
Zookeeper集群中预先存储有多个集群的服务地址，将这些集群的服务地址集合在一起，得到集群服务地址结合，其中，多个集群可以包括：RocketMQ集群和kafka集群等。本实施例需要从集群服务地址集合中匹配出待迁移集群的服务地址作为目标服务地址。
S105、将待迁移信息迁移到目标服务地址对应的目标集群，以完成待迁移信息的平滑迁移。
通过Zookeeper集群确定了目标服务地址后，直接根据该目标服务地址将待迁移信息迁移到该目标服务地址对应的目标集群，从而实现待迁移信息的平滑迁移，无需进行重启，也无需对客户端配置的集群服务地址进行修改，实现一次配置终身适用，降低了集群迁移的复杂度，减少了迁移时长，从而提高了迁移效率。
本实施例的消息集群管理方法，将预先搭建Zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为迁移服务地址；将客户端发送的待迁移信息存储到Zookeeper集群中；利用Zookeeper集群监测待迁移信息的数据变化，确定待迁移信息的待迁移集群；从Zookeeper集群中存储的集群服务地址集合中，匹配出待迁移集群的目标服务地址；将待迁移信息迁移到目标服务地址对应的目标集群，以完成待迁移信息的平滑迁移。采用本发明的技术方案，设置存储有集群服务地址集合的Zookeeper集群，利用Zookeeper集群可以直接将待迁移信息迁移到目标服务地址，无需更改客户端配置的集群服务地址，也无需重启，减少了集群迁移时长和迁移复杂度，提高了集群迁移效率。
进一步地，本实施例的消息集群管理方法，在执行步骤S101之前，还包括如下步骤：
第一，搭建Zookeeper集群。
第二，将与客户端相匹配的各个集群的服务地址集合，得到集群服务地址集合。
第三，将集群服务地址集合存储到Zookeeper集群。
图2是本发明的消息集群管理系统一种实施例提供的结构示意图。如图2所示，本实施例的消息集群管理系统包括：处理器21和存储器22，处理器21与存储器22相连。其中，存储器22用于存储计算机程序，计算机程序至少用于执行上述实施例所述的消息集群管理方法；处理器21用于调用并执行存储器22中存储的计算机程序。
本实施例的消息集群管理系统，设置存储有集群服务地址集合的Zookeeper集群，利用Zookeeper集群可以直接将待迁移信息迁移到目标服务地址，无需更改客户端配置的集群服务地址，也无需重启，减少了集群迁移时长和迁移复杂度，提高了集群迁移效率。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种消息集群管理方法，其特征在于，包括：
将预先搭建Zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为所述迁移服务地址；
将客户端发送的待迁移信息存储到所述Zookeeper集群中；
利用所述Zookeeper集群监测所述待迁移信息的数据变化，确定所述待迁移信息的待迁移集群；
从所述Zookeeper集群中存储的集群服务地址集合中，匹配出所述待迁移集群的目标服务地址；
将所述待迁移信息迁移到所述目标服务地址对应的目标集群，以完成所述待迁移信息的平滑迁移。
2.根据权利要求1所述的消息集群管理方法，其特征在于，所述将预先搭建Zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为所述迁移服务地址之前，还包括：
搭建所述Zookeeper集群；
将与所述客户端相匹配的各个集群的服务地址集合，得到所述集群服务地址集合；
将所述集群服务地址集合存储到所述Zookeeper集群。
3.根据权利要求1所述的消息集群管理方法，其特征在于，所述客户端包括：发送客户端和消费客户端；
所述将客户端的应用服务地址配置为所述迁移服务地址，包括：
将所述发送客户端的应用服务地址和所述消费客户端的应用服务地址均配置为所述迁移服务地址。
4.根据权利要求3所述的消息集群管理方法，其特征在于，所述待迁移信息包括：所述发送客户端发送的主题集群信息、所述消费客户端发送的消费者组集群信息以及主题与消费者组的订阅关系信息。
5.一种消息集群管理系统，其特征在于，包括：处理器以及与所述处理器相连的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1-4任一项所述的消息集群管理方法；
所述处理器用于调用并执行所述计算机程序。
CN202110653892.5A 2021-06-11 2021-06-11 消息集群管理方法和系统 Active CN113347263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110653892.5A CN113347263B (zh) 2021-06-11 2021-06-11 消息集群管理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110653892.5A CN113347263B (zh) 2021-06-11 2021-06-11 消息集群管理方法和系统

Publications (2)

Publication Number Publication Date
CN113347263A true CN113347263A (zh) 2021-09-03
CN113347263B CN113347263B (zh) 2022-10-11

Family

ID=77476921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110653892.5A Active CN113347263B (zh) 2021-06-11 2021-06-11 消息集群管理方法和系统

Country Status (1)

Country Link
CN (1) CN113347263B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452856B1 (en) * 2010-08-04 2013-05-28 Netapp, Inc. Non-disruptive storage server migration
CN103188110A (zh) * 2013-03-29 2013-07-03 汉柏科技有限公司 基于zookeeper的云平台上服务的热备份方法
CN103731312A (zh) * 2014-01-26 2014-04-16 飞狐信息技术（天津）有限公司 对远程方法调用的服务进行故障检查的方法和装置
US20160004466A1 (en) * 2014-07-02 2016-01-07 Hedvig, Inc. Convergence of multiple application protocols onto a single storage platform
CN108833503A (zh) * 2018-05-29 2018-11-16 华南理工大学 一种基于ZooKeeper的Redis集群方法
CN109857516A (zh) * 2018-12-29 2019-06-07 航天信息股份有限公司 基于容器的集群迁移方法及装置
CN110147063A (zh) * 2019-06-14 2019-08-20 上海中通吉网络技术有限公司 机房监控系统
CN110716913A (zh) * 2019-07-31 2020-01-21 安徽四创电子股份有限公司 一种Kafka与Elasticsearch数据库数据的互相迁移方法
CN111078127A (zh) * 2018-10-22 2020-04-28 阿里巴巴集团控股有限公司 数据迁移方法、系统及装置
US20200349172A1 (en) * 2019-04-30 2020-11-05 Microsoft Technology Licensing, Llc Managing code and data in multi-cluster environments
US20210089224A1 (en) * 2019-09-19 2021-03-25 International Business Machines Corporation Monitored migration of copies of volumes of data between clusters of a virtual tape library system
CN112650592A (zh) * 2021-01-06 2021-04-13 杭州当虹科技股份有限公司 一种基于zookeeper的任务负载均衡及高可用系统
CN112769617A (zh) * 2021-01-06 2021-05-07 武汉紫阑信息技术有限公司 一种RabbitMQ集群的迁移方法及计算机系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452856B1 (en) * 2010-08-04 2013-05-28 Netapp, Inc. Non-disruptive storage server migration
CN103188110A (zh) * 2013-03-29 2013-07-03 汉柏科技有限公司 基于zookeeper的云平台上服务的热备份方法
CN103731312A (zh) * 2014-01-26 2014-04-16 飞狐信息技术（天津）有限公司 对远程方法调用的服务进行故障检查的方法和装置
US20160004466A1 (en) * 2014-07-02 2016-01-07 Hedvig, Inc. Convergence of multiple application protocols onto a single storage platform
CN108833503A (zh) * 2018-05-29 2018-11-16 华南理工大学 一种基于ZooKeeper的Redis集群方法
CN111078127A (zh) * 2018-10-22 2020-04-28 阿里巴巴集团控股有限公司 数据迁移方法、系统及装置
CN109857516A (zh) * 2018-12-29 2019-06-07 航天信息股份有限公司 基于容器的集群迁移方法及装置
US20200349172A1 (en) * 2019-04-30 2020-11-05 Microsoft Technology Licensing, Llc Managing code and data in multi-cluster environments
CN110147063A (zh) * 2019-06-14 2019-08-20 上海中通吉网络技术有限公司 机房监控系统
CN110716913A (zh) * 2019-07-31 2020-01-21 安徽四创电子股份有限公司 一种Kafka与Elasticsearch数据库数据的互相迁移方法
US20210089224A1 (en) * 2019-09-19 2021-03-25 International Business Machines Corporation Monitored migration of copies of volumes of data between clusters of a virtual tape library system
CN112650592A (zh) * 2021-01-06 2021-04-13 杭州当虹科技股份有限公司 一种基于zookeeper的任务负载均衡及高可用系统
CN112769617A (zh) * 2021-01-06 2021-05-07 武汉紫阑信息技术有限公司 一种RabbitMQ集群的迁移方法及计算机系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
曹伟等: "集群系统中进程迁移的研究", 《现代计算机(专业版)》 *
王昭等: "一种多服务端HTML5 Web Worker迁移系统设计与实现", 《计算机应用与软件》 *
雄霸一条鱼: "两种比较好的ES集群迁移数据的方法", 《CSDN》 *

Also Published As

Publication number Publication date
CN113347263B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN111767143B (zh) 交易数据处理方法、装置、设备及系统
CN105426439B (zh) 一种元数据的处理方法和装置
CN107526659B (zh) 用于失效备援的方法和设备
US8051423B2 (en) System and method for tracking resources during parallel processing
CN108574645B (zh) 一种队列调度方法及装置
JP2016508638A (ja) 階層データ構造のノードにおいて再帰的イベントリスナを用いる方法およびシステム
US20210406053A1 (en) Rightsizing virtual machine deployments in a cloud computing environment
CN111984402A (zh) 一种线程池统一调度监控方法及系统
WO2019144809A1 (zh) 一种服务更新方法及装置、系统
CN114722092A (zh) 时序数据处理方法、系统、存储介质和电子设备
CN111611048A (zh) 云计算环境中虚拟机的迁移方法、装置和计算机设备
CN113347263B (zh) 消息集群管理方法和系统
CN104010018B (zh) 同步组播组的方法和装置
CN114546672A (zh) 一种无人驾驶通信方法、装置、设备及存储介质
CN111200833B (zh) 一种网元状态的确定方法及装置
CN112433875B (zh) 基于中间件的数据库运行方法、装置及终端设备
CN112311603A (zh) 一种动态更改Spark用户配置的方法、装置及其系统
CN113645585A (zh) 一种物联网数据采集方法
CN112488462A (zh) 一种工作流数据的统一推送方法、装置及介质
CN112395081A (zh) 一种资源在线自动回收方法、系统、服务器以及存储介质
CN111124754A (zh) 一种数据恢复方法、装置、设备及介质
CN108847980A (zh) 一种ctdb节点故障虚拟ip迁移的方法及装置
CN111046016A (zh) 数据处理方法、装置、系统和服务器
CN113342573A (zh) 消息中间件的灾备方法和系统
CN110908792A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant