CN114448989A - 调整消息分发的方法、装置、电子设备、存储介质及产品 - Google Patents

调整消息分发的方法、装置、电子设备、存储介质及产品 Download PDF

Info

Publication number
CN114448989A
CN114448989A CN202210096620.4A CN202210096620A CN114448989A CN 114448989 A CN114448989 A CN 114448989A CN 202210096620 A CN202210096620 A CN 202210096620A CN 114448989 A CN114448989 A CN 114448989A
Authority
CN
China
Prior art keywords
consumption
node
message
information
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210096620.4A
Other languages
English (en)
Other versions
CN114448989B (zh
Inventor
徐文平
邱奇
李楠
张永泉
王若潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210096620.4A priority Critical patent/CN114448989B/zh
Publication of CN114448989A publication Critical patent/CN114448989A/zh
Application granted granted Critical
Publication of CN114448989B publication Critical patent/CN114448989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1017Server selection for load balancing based on a round robin mechanism
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1019Random or heuristic server selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供了一种调整消息分发的方法、装置、电子设备、存储介质及产品,涉及计算机技术领域,尤其涉及数据分发技术领域。具体实现方案为:获取分布式存储消息的多分区与消费消息的消费节点之间的消费关系,并获取所述消费节点的信息和所述多分区的消息堆积数量;基于所述信息和所述消息堆积数量,动态调整所述消费关系。通过本公开可以优化避免消息堆积带来的系统危害。

Description

调整消息分发的方法、装置、电子设备、存储介质及产品
技术领域
本公开涉及计算机技术领域,尤其涉及数据分发技术领域,尤其涉及一种调整消息分发的方法、装置、电子设备、存储介质及产品。
背景技术
分区(Partition)是指分布式系统中为实现数据可扩展,而将数据分块、分实例(即,设备)存储的方式。建立消费节点和分区数据之间的消费关系,并且在一定条件下可以根据调整策略调整建立的消费关系。
其中,调整策略包括随机分配和轮询分配等。
发明内容
本公开提供了一种用于调整消息分发的方法、装置、电子设备、存储介质及产品。
根据本公开的第一方面,提供了一种调整消息分发的方法,所述方法包括:
获取分布式存储消息的多分区与消费消息的消费节点之间的消费关系,并获取所述消费节点的信息和所述多分区的消息堆积数量;基于所述信息和所述消息堆积数量,动态调整所述消费关系。
根据本公开的第二方面,提供了一种调整消息分发的装置,所述装置包括:
获取模块,用于获取分布式存储消息的多分区与消费消息的消费节点之间的消费关系,并获取所述消费节点的信息和所述多分区的消息堆积数量;调整模块,用于基于所述信息和所述消息堆积数量,动态调整所述消费关系。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示出了本公开实施例提供的一种调整消息分发的方法的流程示意图;
图2示出了本公开实施例提供的一种调整消费节点的方法的流程示意图;
图3示出了本公开实施例提供的一种调整消费关系的方法的流程示意图;
图4示出了本公开实施例提供的一种调整消费关系的结构示意图;
图5示出了本公开实施例提供的一种调整消息分发的装置的结构示意图;
图6示出了用来实现本公开实施例的调整消息分发的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
分区是指分布式系统中为实现数据可扩展,而将数据分块、分实例存储的方式。相关技术中,分布式组件包括卡夫卡Kafka、ElasticSearch等。为了构建可伸缩的解决方案,通常同一类型不同分区数据存储在尽可能多的节点上。当下游服务消费位于同一类型不同分区上数据时,需要考虑下游消费者如何快速感知上游分区数目,建立消费关系进行消费。
消费关系可以在一定条件下进行调整,以kafka的Rebalance机制为例,当出现消费者数量变更如消费者宕机、假死或者topic分区数目变化时,触发分区重新分配,即调整消费关系。分配策略包括随机分配(RangeAssignor)、轮询分配(RoundRobinAssignor)等。
随机分配即按照消费者总数和分区总数进行整除运算来获得一个跨度,然后将分区按照跨度进行平均分配,以保证分区尽可能均匀的分配给所有的消费者。
轮询分配的原理是将消费者组内的所有消费者及消费者订阅的所有topic的分区按照字典序排序,然后通过轮询的方式逐个将分区依次分配给消费者。
例如,当消费者实例数目、主题的分区数目变更时,重新选择出一个消费节点,由该消费节点分配消费关系。但是分配结果最终是某个实例节点最多可消费一个分区,而某个特定的分区,最多只能由一个实例来消费。
由此可知,相关技术中,同一台消费实例不支持同时消费同一个主题的不同分区。导致当单个消费节点负载高时,没有特别好的机制进行“释放压力”。若扩充分区的数目,带来的性能消耗也是比较巨大的。并且在消费节点宕机等异常情况导致的信息检测失败时才会触发调整消费关系,调整机制不灵活。
基于此,本公开提供一种调整消息分发的方法和装置,可以通过添加管理端,由管理端检测消费节点的信息和分区消息的堆积情况。管理端实时调整消费节点和分区的消费关系,从而避免消息堆积带来的系统危害,并且保证了服务的稳定性。
在本公开中,消费节点确定自身的负载压力达到预设阈值,可以发出报警信息,管理端通过报警信息动态调整该消费节点的消费关系。在本公开中,管理端还可以检测用于分布式存储消息的分区,若存在分区中的信息存储量达到阈值,则可以动态调整该分区的消费关系。通过动态调整分区与消费节点之间的消费关系,加快了大规模存储系统高每秒查询率(Query Per Second,QPS)服务系统的消费速率,从而加强了消费系统的稳定性,避免消息堆积带来的系统危害。
图1示出了本公开实施例提供的一种调整消息分发的方法的流程示意图,如图1中所示,该方法可以包括:
在步骤S110中,获取分布式存储消息的多分区与消费消息的消费节点之间的消费关系。
在本公开实施例中,在分配分布式存储消息的多分区与消费消息的消费节点之间的消费关系的过程中,添加管理端。管理端可以获得所有分布式存储消息的多分区与消费消息的消费节点之间的消费关系。
在本公开中,多分区用于分布式存储产生的消息,消费节点用于处理分区中的消息。通过建立消费节点和分区之间关系,使得消费节点处理对对应分区的消息,该关系可以称为消费节点与分区之间的消费关系。在本公开中,可以建立一个分区与一个消费节点之间的消费关系,也可以建立一个分区与多个消费节点之间的多个消费关系,也可以建立多个分区与一个消费节点之间的消费关系,还可以建立多个分区与多个消费节点之间的多个消费关系。
在步骤S120中,获取消费节点的信息和多分区的消息堆积数量。
在本公开中,可以是基于消息队列获取分区消息堆积数量。其中,消息队列可以是卡夫卡(Kafka),也可以是bigpipe等。可以通过调用Kafka提供的接口读取分区的消息堆积数量。或者,通过调用bigpipe对应的接口获取分区消息堆积数量。
在本公开实施例中,消费节点可以按照设定的时间,定时向管理端发送自身的信息。从而,管理端可以定时的获取所有消费节点的信息,并可以检测所有存储消息的分区的消息堆积数量。
其中,消费节点的信息至少包括消费节点当前的负载情况。管理端还可以将获取到的消费节点的信息以及多分区的消息堆积数量,保存至指定位置。指定位置可以是预先设置的数据库,数据存储磁盘等。
在步骤S130中,基于信息和消息堆积数量,动态调整消费关系。
在本公开实施例中,管理端通过得到的所有消费节点的信息,以及所有分区的消息堆积数量,动态调整消费节点与多分区建立的消费关系。
通过本公开实施例提供的调整消息分发的方法,可以根据消费节点的信息以及多分区消息堆积数量的情况,调整消费节点与多分区之间的消费关系,从而避免存储消息的分区因消息堆积给系统带来的危害,并且保证了服务的稳定性。
在本公开实施例中,需要说明的是,消费节点也可以称为消费实例,或者消费设备。消费节点可以用来消费多分区存储的消息。可以通过操作系统的接口获取消费节点的信息。
在本公开实施例中,可以为添加的管理端设置定时任务,基于设置的定时任务,可以定时检测多分区中每个分区的消息堆积数量、定时获取消费节点的信息,以及定时清除出现异常状态的消费节点。本公开为便于区分,将用于定时检测多分区中每个分区的消息堆积数量的定时任务,称为第一定时任务。将用于获取消费节点的信息的定时任务,称为第二定时任务。其中,需要说明的是,获取消费节点的信息的第二定时任务可以根据消费节点确定。消费节点可以预设定时发送消息的定时任务,基于时间触发设置的定时任务,定时向管理端发送消息,该消息用于表征消费节点的状态信息。本公开将用于清除状态异常的消费节点的定时任务,称为第三定时任务,并且第三定时任务还可以清除与异常消费节点所持有的消费关系。
在本公开中,可以基于时间设置上述实施例涉及的定时任务,例如每隔5分钟,触发设置的定时任务。当然还可以基于其他因素设置定时任务,再次不再一一举例说明。
进一步的,管理端获取预设的第一定时任务响应于第一定时任务被触发,检测多分区的消息堆积数量。和/或,获取第二定时任务,响应于第二定时任务被触发,获取消费节点的信息。
在本公开实施例中,还需要对多分区的消息堆积数量和获取的消费节点的信息进行存储,用于后续调整多分区与消费节点直接的消费关系。
在本公开实施例中,若在预设时间内未获取到某个消费节点的信息,则认为该消费节点状态异常,并且可以对状态异常的消费节点进行清除。并清除与该消费节点对应的消费关系,如下述实施例。
图2示出了本公开实施例提供的一种调整消费节点的方法的流程示意图,如图2中所示,该方法可以包括:
在步骤S210中,获取预设的第三定时任务。
如上述实施例,第三定时任务用于定时清除状态异常的消费节点,管理端可以获取该定时任务。
在步骤S220中,响应于第三定时任务被触发,基于信息清除状态异常的消费节点,清除与状态异常的消费节点相关的消费关系,并确定状态正常的消费节点。
在本公开实施例中,若设置的第三定时任务被触发,则清除在预设时间段内未获取到信息的消费节点,并相应清除与该消费节点相关的消费关系。其中,状态异常的消费节点可以是一个也可以是多个。
在步骤S230中,基于状态正常的消费节点和消息堆积数量,动态调整消费关系。
在本公开实施例中,基于状态正常的消费节点,为清除了消费关系的多分区,按照消息堆积数量,重新分配消费关系。在分配消费关系时,可以优先计算负载压力较小的消费节点,建立该消费节点与分区的消费关系,分区为清除了消费关系的分区。
在本公开中,还可以基于多分区的消息堆积数量,动态调整所有已经建立的消费关系。
在本公开实施例中,基于多分区的消息堆积数量,动态调整所有已经建立的消费关系,参见下述实施例。
图3示出了本公开实施例提供的一种调整消费关系的方法的流程示意图,如图3中所示,该方法可以包括:
在步骤S310中,获取未分配消费关系的多分区,以与每个分区对应的消息堆积数量。
在本公开实施例中,检测未分配消费关系的多分区,并确定每个分区对应的消息堆积数量,并将分区与其消息堆积数量一一对应进行存储。
在步骤S320中,在状态正常的消费节点中,确定与未分配消费关系的多分区建立消费关系的消费节点。
在本公开实施例中,对于状态正常的消费节点,根据获取到的每个消费节点的信息,确定负载压力小于或等于压力均衡值的消费节点。将负载压力小于或等于压力均衡值的消费节点确定与未分配消费关系的多分区建立消费关系。
在步骤S330中,基于每个分区对应的消息堆积数量和/或消费节点的信息,调整已建立的消费关系。
在本公开实施例中,所有分布式存储消息的分区与所有状态正常的消费节点建立消费关系之后,根据每个分区对应的消息堆积数量和/或消费节点的信息,动态调整已建立的消费关系。例如,根据分区的消息堆积数量的排序调整已建立的消费关系。
在本公开实施例中,消费节点的信息包括消费节点的负载信息。
在本公开中,基于每个分区对应的消息堆积数量,调整已建立的消费关系的情况如下:
对于多分区中存在消息堆积数量大于或等于预设阈值的分区,基于负载信息,为消息堆积数量大于或等于预设阈值的分区增加消费关系。即,为消息堆积数量大于或等于预设阈值的分区添加消费关系,添加的消费关系对应的消费节点,可以是负载压力小于压力均衡至的消费节点。
对于多分区中存在消息堆积数量小于或等于预设阈值的分区,基于负载信息,为消息堆积数量小于或等于预设阈值的分区减少消费关系。即,为消息堆积数量大于或等于预设阈值的分区移除至少一个消费关系,移除的消费节点可以是负载压力大于或等于压力均衡至的消费节点。
在本公开中,基于消费节点的信息,调整已建立的消费关系的情况如下:
若消费节点的负载信息为负载压力大于或等于压力均衡值,将消费节点的消费关系移除至其他消费节点。即,将该消费节点的消费关系移除至少一个至负载压力小于或等于压力均衡值的消费节点。
若消费节点的负载信息为负载压力小于或等于压力均衡值,增加消费节点的消费关系。即,可以将负载压力大于或等于压力均衡值的消费节点的消费关系调整至该消费节点。
图4示出了本公开实施例提供的一种调整消费关系的结构示意图,如图4中所示,管理端可以获取到所有分区的消息堆积数量、消费节点的信息以及分区与消费节点建立的消费关系。
如图4中初始分配消费关系部分所示,管理端可以检测到未分配消费关系的消费节点,对未分配消费关系的消费节点分配消费关系。若第二个分区的消息堆积数量相对较大,则可以将第二个分区与未分配消费关系的消费节点建立消费关系。若检测到分区中存在消息堆积数量超过预设阈值,则调整该分区的消费关系,增加消费节点,直到该分区的消息堆积数量小于或等于预设阈值,保持建立的消费关系或相应减少建立的消费关系。
可以理解的是,动态调整消费关系为系统自适应调整,进一步的,可以理解为由引入的管理端根据消费节点的负载信息以及分区的消息堆积数量,自适应动态调整,整理操作实现自动化,节省了大量的资源,且提高了调整消费关系的效率。
在本公开中,如图4,可以将分区消息堆积数量相对较大的分区理解为重分区,将分区消息堆积数量相对较大的分区理解为轻分区。管理端自适应调整消费关系则可以是,将负载压力相对较小的消费节点与重分区建立消费关系,以加快消费重分区的消息;将轻分区无需的消费关系移除,以节省消费节点的资源,从而为重分区提供更多的消费节点。
如图4所示,若检测到消费节点中存储负载压力超过压力均衡值,则移除至少一个消费关系,将移除的消费关系建立至其他的消费节点。
基于与图1中所示的方法相同的原理,图5示出了本公开实施例提供的一种调整消息分发的装置的结构示意图,如图5所示,该调整消息分发的装置100可以包括:
获取模块101,用于获取分布式存储消息的多分区与消费消息的消费节点之间的消费关系,并获取所述消费节点的信息和所述多分区的消息堆积数量;调整模块102,用于基于所述信息和所述消息堆积数量,动态调整所述消费关系。
在本公开实施例中,所述获取模块101,用于获取预设的第一定时任务,响应于所述第一定时任务被触发,检测所述多分区的消息堆积数量;和/或,获取预设的第二定时任务,响应于所述第二定时任务被触发,获取所述消费节点的信息。
在本公开实施例中,所述调整模块102,用于获取预设的第三定时任务;响应于所述第三定时任务被触发,基于所述信息清除状态异常的消费节点,清除与状态异常的消费节点相关的消费关系,并确定状态正常的消费节点;基于所述状态正常的消费节点和所述消息堆积数量,动态调整所述消费关系。
在本公开实施例中,所述调整模块102,用于获取未分配消费关系的多分区,以与每个分区对应的消息堆积数量;在状态正常的消费节点中,确定与所述未分配消费关系的多分区建立消费关系的消费节点;基于每个分区对应的所述消息堆积数量和/或所述消费节点的信息,调整已建立的消费关系。
在本公开实施例中,所述信息包括消费节点的负载信息;所述调整模块102,用于响应于所述多分区中存在消息堆积数量大于或等于预设阈值的分区,基于所述负载信息,为所述消息堆积数量大于或等于预设阈值的分区增加消费关系;或,响应于所述多分区中存在消息堆积数量小于或等于预设阈值的分区,基于所述负载信息,为所述消息堆积数量小于或等于预设阈值的分区减少消费关系。
在本公开实施例中,所述信息包括消费节点的负载信息;
所述调整模块102,用于响应于消费节点的所述负载信息为负载压力大于或等于压力均衡值,移除所述消费节点的消费关系;或,响应于消费节点的所述负载信息为负载压力小于或等于压力均衡值,增加所述消费节点的消费关系。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备200的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备200包括计算单元201,其可以根据存储在只读存储器(ROM)202中的计算机程序或者从存储单元208加载到随机访问存储器(RAM)203中的计算机程序,来执行各种适当的动作和处理。在RAM 203中,还可存储设备200操作所需的各种程序和数据。计算单元201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
设备200中的多个部件连接至I/O接口205,包括:输入单元206,例如键盘、鼠标等;输出单元207,例如各种类型的显示器、扬声器等;存储单元208,例如磁盘、光盘等;以及通信单元209,例如网卡、调制解调器、无线通信收发机等。通信单元209允许设备200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元201执行上文所描述的各个方法和处理,例如方法调整消息分发。例如,在一些实施例中,方法调整消息分发可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元208。在一些实施例中,计算机程序的部分或者全部可以经由ROM 202和/或通信单元209而被载入和/或安装到设备200上。当计算机程序加载到RAM 203并由计算单元201执行时,可以执行上文描述的方法调整消息分发的一个或多个步骤。备选地,在其他实施例中,计算单元201可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法调整消息分发。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (15)

1.一种调整消息分发的方法,所述方法包括:
获取分布式存储消息的多分区与消费消息的消费节点之间的消费关系,并
获取所述消费节点的信息和所述多分区的消息堆积数量;
基于所述信息和所述消息堆积数量,动态调整所述消费关系。
2.根据权利要求1所述的方法,其中,所述获取所述消费节点的信息和所述多分区的消息堆积数量,包括:
获取预设的第一定时任务,响应于所述第一定时任务被触发,检测所述多分区的消息堆积数量;和/或
获取预设的第二定时任务,响应于所述第二定时任务被触发,获取所述消费节点的信息。
3.根据权利要求1所述的方法,其中,所述基于所述信息和所述消息堆积数量,动态调整所述消费关系,包括:
获取预设的第三定时任务;
响应于所述第三定时任务被触发,基于所述信息清除状态异常的消费节点,清除与状态异常的消费节点相关的消费关系,并确定状态正常的消费节点;
基于所述状态正常的消费节点和所述消息堆积数量,动态调整所述消费关系。
4.根据权利要求3所述的方法,其中,所述基于所述状态正常的消费节点和所述消息堆积数量,动态调整所述消费关系,包括:
获取未分配消费关系的多分区,以与每个分区对应的消息堆积数量;
在状态正常的消费节点中,确定与所述未分配消费关系的多分区建立消费关系的消费节点;
基于每个分区对应的所述消息堆积数量和/或所述消费节点的信息,调整已建立的消费关系。
5.根据权利要求4所述的方法,所述信息包括消费节点的负载信息;
所述基于每个分区对应的所述消息堆积数量,调整已建立的消费关系,包括:
响应于所述多分区中存在消息堆积数量大于或等于预设阈值的分区,基于所述负载信息,为所述消息堆积数量大于或等于预设阈值的分区增加消费关系;或
响应于所述多分区中存在消息堆积数量小于或等于预设阈值的分区,基于所述负载信息,为所述消息堆积数量小于或等于预设阈值的分区减少消费关系。
6.根据权利要求4所述的方法,所述信息包括消费节点的负载信息;
所述基于所述消费节点的信息,调整已建立的消费关系,包括:
响应于消费节点的所述负载信息为负载压力大于或等于压力均衡值,移除所述消费节点的消费关系;或
响应于消费节点的所述负载信息为负载压力小于或等于压力均衡值,增加所述消费节点的消费关系。
7.一种调整消息分发的装置,所述装置包括:
获取模块,用于获取分布式存储消息的多分区与消费消息的消费节点之间的消费关系,并获取所述消费节点的信息和所述多分区的消息堆积数量;
调整模块,用于基于所述信息和所述消息堆积数量,动态调整所述消费关系。
8.根据权利要求7所述的装置,其中,所述获取模块,用于:
获取预设的第一定时任务,响应于所述第一定时任务被触发,检测所述多分区的消息堆积数量;和/或
获取预设的第二定时任务,响应于所述第二定时任务被触发,获取所述消费节点的信息。
9.根据权利要求7所述的装置,其中,所述调整模块,用于:
获取预设的第三定时任务;
响应于所述第三定时任务被触发,基于所述信息清除状态异常的消费节点,清除与状态异常的消费节点相关的消费关系,并确定状态正常的消费节点;
基于所述状态正常的消费节点和所述消息堆积数量,动态调整所述消费关系。
10.根据权利要求9所述的装置,其中,所述调整模块,用于:
获取未分配消费关系的多分区,以与每个分区对应的消息堆积数量;
在状态正常的消费节点中,确定与所述未分配消费关系的多分区建立消费关系的消费节点;
基于每个分区对应的所述消息堆积数量和/或所述消费节点的信息,调整已建立的消费关系。
11.根据权利要求10所述的装置,所述信息包括消费节点的负载信息;
所述调整模块,用于:
响应于所述多分区中存在消息堆积数量大于或等于预设阈值的分区,基于所述负载信息,为所述消息堆积数量大于或等于预设阈值的分区增加消费关系;或
响应于所述多分区中存在消息堆积数量小于或等于预设阈值的分区,基于所述负载信息,为所述消息堆积数量小于或等于预设阈值的分区减少消费关系。
12.根据权利要求10所述的装置,所述信息包括消费节点的负载信息;
所述调整模块,用于:
响应于消费节点的所述负载信息为负载压力大于或等于压力均衡值,移除所述消费节点的消费关系;或
响应于消费节点的所述负载信息为负载压力小于或等于压力均衡值,增加所述消费节点的消费关系。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
CN202210096620.4A 2022-01-26 2022-01-26 调整消息分发的方法、装置、电子设备、存储介质及产品 Active CN114448989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210096620.4A CN114448989B (zh) 2022-01-26 2022-01-26 调整消息分发的方法、装置、电子设备、存储介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210096620.4A CN114448989B (zh) 2022-01-26 2022-01-26 调整消息分发的方法、装置、电子设备、存储介质及产品

Publications (2)

Publication Number Publication Date
CN114448989A true CN114448989A (zh) 2022-05-06
CN114448989B CN114448989B (zh) 2024-04-05

Family

ID=81368869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210096620.4A Active CN114448989B (zh) 2022-01-26 2022-01-26 调整消息分发的方法、装置、电子设备、存储介质及产品

Country Status (1)

Country Link
CN (1) CN114448989B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658347A (zh) * 2022-11-04 2023-01-31 拉卡拉支付股份有限公司 数据消费方法、装置、电子设备、存储介质及程序产品
CN116225344A (zh) * 2023-05-08 2023-06-06 广州睿帆科技有限公司 数据写入方法、装置、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017114176A1 (zh) * 2015-12-30 2017-07-06 阿里巴巴集团控股有限公司 一种分布式环境协调消费队列方法和装置
CN107197015A (zh) * 2017-05-23 2017-09-22 阿里巴巴集团控股有限公司 一种基于消息队列系统的消息处理方法和装置
CN107391275A (zh) * 2017-06-30 2017-11-24 联想(北京)有限公司 一种消息处理方法及电子设备
CN109104446A (zh) * 2017-06-20 2018-12-28 中兴通讯股份有限公司 一种消息保序方法、网络节点及存储介质
US20190171650A1 (en) * 2017-12-01 2019-06-06 Chavdar Botev System and method to improve data synchronization and integration of heterogeneous databases distributed across enterprise and cloud using bi-directional transactional bus of asynchronous change data system
CN111045837A (zh) * 2019-11-26 2020-04-21 福建天泉教育科技有限公司 跨服务消费的方法、存储介质
CN111124710A (zh) * 2019-12-17 2020-05-08 联想(北京)有限公司 一种数据处理方法及电子设备
CN113703982A (zh) * 2021-08-31 2021-11-26 深圳前海微众银行股份有限公司 使用kafka的数据消费方法、装置、终端设备及介质
CN113946449A (zh) * 2021-10-29 2022-01-18 北京工业大学 一种基于Kafka的消费者端负载均衡方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017114176A1 (zh) * 2015-12-30 2017-07-06 阿里巴巴集团控股有限公司 一种分布式环境协调消费队列方法和装置
CN107197015A (zh) * 2017-05-23 2017-09-22 阿里巴巴集团控股有限公司 一种基于消息队列系统的消息处理方法和装置
CN109104446A (zh) * 2017-06-20 2018-12-28 中兴通讯股份有限公司 一种消息保序方法、网络节点及存储介质
CN107391275A (zh) * 2017-06-30 2017-11-24 联想(北京)有限公司 一种消息处理方法及电子设备
US20190171650A1 (en) * 2017-12-01 2019-06-06 Chavdar Botev System and method to improve data synchronization and integration of heterogeneous databases distributed across enterprise and cloud using bi-directional transactional bus of asynchronous change data system
CN111045837A (zh) * 2019-11-26 2020-04-21 福建天泉教育科技有限公司 跨服务消费的方法、存储介质
CN111124710A (zh) * 2019-12-17 2020-05-08 联想(北京)有限公司 一种数据处理方法及电子设备
CN113703982A (zh) * 2021-08-31 2021-11-26 深圳前海微众银行股份有限公司 使用kafka的数据消费方法、装置、终端设备及介质
CN113946449A (zh) * 2021-10-29 2022-01-18 北京工业大学 一种基于Kafka的消费者端负载均衡方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于金良;朱志祥;李聪颖;: "一种分布式消息队列研究与测试", 物联网技术, no. 08, 20 August 2016 (2016-08-20), pages 99 *
林友芳: "《交通大数据》", 北京交通大学出版社, pages: 99 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658347A (zh) * 2022-11-04 2023-01-31 拉卡拉支付股份有限公司 数据消费方法、装置、电子设备、存储介质及程序产品
CN116225344A (zh) * 2023-05-08 2023-06-06 广州睿帆科技有限公司 数据写入方法、装置、系统及存储介质
CN116225344B (zh) * 2023-05-08 2024-06-14 广州睿帆科技有限公司 数据写入方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN114448989B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
US11032210B2 (en) Software load balancer to maximize utilization
CN114448989B (zh) 调整消息分发的方法、装置、电子设备、存储介质及产品
CN110300067B (zh) 队列调整方法、装置、设备及计算机可读存储介质
CN112398945B (zh) 一种基于背压的业务处理方法及装置
CN112650575B (zh) 资源调度方法、装置和云端服务系统
CN111190745A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN113114504B (zh) 用于分配资源的方法、装置、设备、介质和产品
CN113656176B (zh) 云设备的分配方法、装置、系统、电子设备、介质及产品
CN112887407B (zh) 用于分布式集群的作业流量控制方法和装置
CN116016276A (zh) 服务器健康状态检测方法和装置
CN114911598A (zh) 任务调度方法、装置、设备以及存储介质
CN112612631B (zh) 一种消息队列堆积检测方法以及相关装置
CN112817428A (zh) 任务运行方法、装置、移动终端和存储介质
CN112615795A (zh) 流量控制方法、装置、电子设备、存储介质及产品
CN115774602A (zh) 一种容器资源的分配方法、装置、设备及存储介质
CN115543416A (zh) 一种配置更新方法、装置、电子设备及存储介质
CN113971083A (zh) 任务调度方法、装置、设备、介质及产品
CN103973811A (zh) 一种可动态迁移的高可用集群管理方法
CN113971082A (zh) 任务调度方法、装置、设备、介质及产品
CN112202692A (zh) 数据分发方法、装置、设备以及存储介质
CN112242915B (zh) 用于对onu设备进行过载控制的方法与装置
CN113342463B (zh) 计算机程序模块的容量调整方法、装置、设备和介质
CN112261076B (zh) 下载服务分离方法、装置、电子设备和可读存储介质
CN114897503A (zh) 业务处理方法、装置、设备及存储介质
CN117421331A (zh) 数据查询优化方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant