CN109309603A - 一种动态的负载均衡分配方法及装置 - Google Patents

一种动态的负载均衡分配方法及装置 Download PDF

Info

Publication number
CN109309603A
CN109309603A CN201811300878.1A CN201811300878A CN109309603A CN 109309603 A CN109309603 A CN 109309603A CN 201811300878 A CN201811300878 A CN 201811300878A CN 109309603 A CN109309603 A CN 109309603A
Authority
CN
China
Prior art keywords
data information
agent
address
buffer address
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811300878.1A
Other languages
English (en)
Inventor
郝运顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hua Qing Rong Tian (beijing) Software Ltd By Share Ltd
Original Assignee
Hua Qing Rong Tian (beijing) Software Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hua Qing Rong Tian (beijing) Software Ltd By Share Ltd filed Critical Hua Qing Rong Tian (beijing) Software Ltd By Share Ltd
Priority to CN201811300878.1A priority Critical patent/CN109309603A/zh
Publication of CN109309603A publication Critical patent/CN109309603A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供了一种动态的负载均衡分配方法及装置,涉及负载分发系统技术领域,应用于服务器中的第一代理服务,所述方法包括:接收用户终端发送的数据信息;根据当前轮询周期的第一剩余缓存地址,为所述数据信息分配第一目标缓存地址;其中,一个轮询周期中的缓存地址分配给具有相同标识的数据信息;监控所述第一目标缓存地址的剩余容量;若监控到所述第一目标缓存地址的剩余容量大于第一阈值,则将所述数据信息写入所述第一目标缓存地址。本申请中,通过动态监控分配的第一目标缓存地址的剩余容量,并基于剩余容量与第一阈值的比较结果动态为数据信息分配第一目标缓存地址,缓解了由于某一缓存地址的负载瓶颈问题而导致的数据无法分发的问题。

Description

一种动态的负载均衡分配方法及装置
技术领域
本申请涉及负载分发系统技术领域,具体而言,涉及一种动态的负载 均衡分配方法及装置。
背景技术
Flume是由Cloudera软件公司提供的一个高可用的、高可靠的、分布 式的海量日志采集、聚合和传输的系统。
在实际应用中,将多个Flume Agent组成一个集群,共同承担数据信 息传输的责任,这些Flume Agent彼此之间相互独立;其中,预先指定集 群中的一个作为数据分发Agent,数据分发Agent将数据信息分发给其他 Agent进行处理。目前,数据分发Agent中进行数据分发的过程如下:接收 用户终端发送的数据信息后,将数据信息写入预先分配好的该数据信息对 应的缓存地址,并将缓存地址中的数据信息分发给其他Agent。
但是,现有技术中,每个数据信息对应的缓存地址都是预先分配好的, 当该缓存地址对应的剩余容量较小时,会造成该缓存地址的数据瓶颈,进 而使得基于该缓存地址的数据信息无法完成分发。
发明内容
有鉴于此,本申请实施例的目的在于提供一种动态的负载均衡分配方 法及装置,能够动态为接收到的数据信息分配目标缓存地址,缓解了某一 缓存地址的负载瓶颈问题,保证了数据分发的可靠性。
第一方面,本申请实施例提供了一种动态负载均衡分配方法,应用于 服务器中的第一代理服务,所述方法包括:
第一代理服务接收用户终端发送的数据信息;
第一代理服务根据当前轮询周期的第一剩余缓存地址,为所述数据信 息分配第一目标缓存地址;其中,一个轮询周期中的缓存地址分配给具有 相同标识的数据信息;
第一代理服务监控所述第一目标缓存地址的剩余容量;
第一代理服务若监控到所述第一目标缓存地址的剩余容量大于第一阈 值,则将所述数据信息写入所述第一目标缓存地址。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方 式,其中,所述的动态负载均衡分配方法中,所述方法还包括:
第一代理服务若监控到所述第一目标缓存地址的剩余容量不大于第一 阈值,则返回根据当前轮询周期的剩余缓存地址,为所述数据信息分配第 一目标缓存地址的步骤,直至为所述数据信息分配的第一目标缓存地址的 剩余容量大于第一阈值,或者,当前轮询周期不存在第一剩余缓存地址;
在当前轮询周期不存在第一剩余缓存地址时,若不存在剩余容量大于 第一阈值的所述第一目标缓存地址,则从所述第一剩余缓存地址中查找剩 余容量大于第二阈值的第一目标缓存地址。
结合第一方面或者第一方面的第一种可能的实施方式,本申请实施例 提供了第一方面的第二种可能的实施方式,其中,所述服务器还包括第二 代理服务;所述第一代理服务将所述数据信息写入所述第一目标缓存地址 之后,所述方法还包括:
所述第一代理服务读取所述第一目标缓存地址中的数据信息;其中, 所述数据信息携带有标识信息;
所述第一代理服务根据所述数据信息携带的标识信息,查找与所述标 识信息对应的第二代理服务的目的地址;
所述第一代理服务基于所述目的地址,向第二代理服务发送所述数据 信息;
所述第一代理服务若确定所述数据信息发送成功,则删除所述目标缓 存地址中与所述标识信息对应的数据信息。
结合第一方面或者第一方面的第一种可能的实施方式,本申请实施例 提供了第一方面的第二种可能的实施方式,其中,所述第一代理服务为所 述数据信息分配第一目标缓存地址之后,所述方法还包括:
所述第一代理服务记录与所述数据信息的标识信息对应的第一目标缓 存地址;
所述第一代理服务在接收到用户终端发送的新数据信息后,查找与所 述新数据信息的目标标识信息对应的第一目标缓存地址;
所述第一代理服务将所述新数据信息写入查找到的所述第一目标缓存 地址。
结合第一方面的第二种可能的实施方式,本申请实施例提供了第一方 面的第四种可能的实施方式,其中,所述的动态负载均衡分配方法,应用 于服务器中的第二代理服务,所述方法还包括:
所述第二代理服务接收第一代理服务发送的数据信息,并为所述数据 信息分配第二目标缓存地址;
所述第二代理服务将所述数据信息发送至所述第二目标缓存地址;
所述第二代理服务按照预设的时间周期对第二目标缓存地址中的数据 信息进行统计,得到数据统计信息;
将所述数据统计信息写入对应的存储介质。
结合第一方面的第四种可能的实施方式,本申请实施例提供了第一方 面的第五种可能的实施方式,其中,所述第二代理服务为所述数据信息分 配第二目标缓存地址,包括:
所述第二代理服务根据当前轮询周期的第二剩余缓存地址,为所述数 据信息分配第二目标缓存地址;
所述第二代理服务监控所述第二目标缓存地址的剩余容量;
第二代理服务若监控到所述目标缓存地址的剩余容量大于第一阈值, 则将所述数据信息写入所述第二目标缓存地址。
第二方面,本申请实施例还提供了一种动态负载均衡分配装置,包括 第一代理服务;所述第一代理服务,用于:
接收用户终端发送的数据信息;
根据当前轮询周期的第一剩余缓存地址,为所述数据信息分配第一目 标缓存地址;其中,一个轮询周期中的缓存地址分配给具有相同标识的数 据信息;
监控所述第一目标缓存地址的剩余容量;
在监控到所述第一目标缓存地址的剩余容量大于第一阈值时,将所述 数据信息写入所述第一目标缓存地址。
结合第二方面,本申请实施例提供了第二方面的第一种可能的实施方 式,其中,所述第一代理服务,还用于:
若监控到所述第一目标缓存地址的剩余容量不大于第一阈值,则返回 根据当前轮询周期的剩余缓存地址,为所述数据信息分配第一目标缓存地 址的步骤,直至为所述数据信息分配的第一目标缓存地址的剩余容量大于 第一阈值,或者,当前轮询周期不存在第一剩余缓存地址;
在当前轮询周期不存在第一剩余缓存地址时,若不存在剩余容量大于 第一阈值的所述第一目标缓存地址,则从所述第一剩余缓存地址中查找剩 余容量大于第二阈值的第一目标缓存地址。
结合第二方面或者第二方面的第一种可能的实施方式,本申请实施例 提供了第二方面的第二种可能的实施方式,其中,还包括第二代理服务; 所述第一代理服务,还用于:
读取所述第一目标缓存地址中的数据信息;其中,所述数据信息携带 有标识信息;
根据所述数据信息携带的标识信息,查找与所述标识信息对应的所述 第二代理服务的目的地址;
基于所述目的地址,向所述第二代理服务发送所述数据信息;
在确定所述数据信息发送成功时,删除所述目标缓存地址中与所述标 识信息对应的数据信息。
结合第二方面或者第二方面的第一种可能的实施方式,本申请实施例 提供了第二方面的第三种可能的实施方式,其中,所述第一代理服务,还 用于:
记录与所述数据信息的标识信息对应的第一目标缓存地址;
在接收到用户终端发送的新数据信息后,查找与所述新数据信息的目 标标识信息对应的第一目标缓存地址;
将所述新数据信息写入查找到的所述第一目标缓存地址。
本申请实施例提供的一种动态的负载均衡分配方法及装置,第一代理 服务接收用户终端发送的数据信息;根据当前轮询周期的第一剩余缓存地 址,为数据信息分配第一目标缓存地址;监控第一目标缓存地址的剩余容 量,并在监控到第一目标缓存地址的剩余容量大于第一阈值时,将数据信 息写入第一目标缓存地址,通过动态监控分配的第一目标缓存地址的剩余 容量,并动态为数据信息分配第一目标缓存地址,缓解了由于某一缓存地址的负载瓶颈问题而导致的数据无法分发的问题。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实 施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需 要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些 实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种动态的负载均衡分配系统的结 构示意图。
图2示出了本申请实施例所提供的一种Flume Agent的架构图。
图3示出了本申请实施例所提供的一种Flume Agent基于event事件 传输数据的结构示意图。
图4示出了本申请实施例所提供的一种动态的负载均衡分配方法的流 程图。
图5示出了本申请实施例所提供的另一种动态的负载均衡分配方法的 流程图。
图6示出了本申请实施例所提供的另一种动态的负载均衡分配方法的 流程图。
图7示出了本申请实施例所提供的另一种动态的负载均衡分配方法的 流程图。
图8示出了本申请实施例所提供的另一种动态的负载均衡分配方法的 流程图。
图9示出了本申请一实施例所提供的计算机设备40的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本 申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述, 显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。 通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配 置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描 述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实 施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前 提下所获得的所有其他实施例,都属于本申请保护的范围。
图1示出了本申请实施例提供的动态的负载均衡分配系统的结构示意 图。图2示出了本申请实施例提供的一种Flume Agent的架构图,如图1 和图2所示,上述系统包括:用户终端10、服务器20和数据库30。其中, 服务器20中部署有第一代理服务11(即分发FlumeAgent)和第二代理服 务21、第三代理服务31和第四代理服务41(第二代理服务21、第三代理 服务31和第四代理服务41即其他Flume Agent)。其中,第一代理服务11 中部署有数据源组件(Source)、三个缓存(Channel)和三个目的地(Sink); 其中,每个Channel对应连接一个Sink。其中,第二代理服务21部署有数 据源组件(Source)、三个缓存组件(Channel)和三个目的地组件(Sink); 其中,每个Channel对应连接一个Sink。第三代理服务31部署有数据源组 件(Source)、三个缓存组件(Channel)和三个目的地组件(Sink);其中, 每个Channel对应连接一个Sink。第四代理服务41部署有数据源组件 (Source)、三个缓存组件(Channel)和三个目的地组件(Sink);其中, 每个Channel对应连接一个Sink。
其中,服务器20中部署的代理服务的核心是把从Source中收集到的 数据,依次发送到指定的Sink,而在上述过程中,为了保证数据传输的 稳定性和完整性,代理服务会首先把Source收集到的数据写入Channel, 确保数据正确到达Sink之后,代理服务会删除Channel中的发送成功的 数据。
在上述数据分发的过程中,代理服务是以event作为数据传输的基本 单位。Event的结构如下:event headers、event body。Event从Source, 流向Channel,再到Sink,其本身为一个字节数组,(可)携带headers (头信息),从外部数据源来,流向外部目的地。Event的概念示意图如3 所示。
基于上述系统架构图,本申请实施例提供了一种动态的负载均衡分配 方法及装置,下面通过实施例进行描述。
如图4所示,本申请实施例提供了一种动态负载均衡分配方法,应用 于服务器中的第一代理服务,所述方法包括:
S101、所述第一代理服务接收用户终端发送的数据信息。
本申请实施例中,由第一代理服务中的Source(如图2中的Source1) 接收数据信息。
S102、第一代理服务根据当前轮询周期的第一剩余缓存地址,为所述 数据信息分配第一目标缓存地址;其中,一个轮询周期中的缓存地址分配 给具有相同标识的数据信息。
本申请实施例中,第一代理服务中的Source1在接收到数据信息后, 轮询所有的缓存地址,获取当前轮询周期内的第一剩余缓存地址,然后, 按照预设的轮询顺序从第一剩余缓存地址中选择第一目标缓存地址(如 Channel1),作为分配给数据信息的第一目标缓存地址。
S103、第一代理服务监控所述第一目标缓存地址的剩余容量。
本申请实施例中,预先在Source1中配置监控模块,通过Source1中 的监控模块监控所述第一目标缓存地址的剩余容量。
S104、第一代理服务若监控到所述第一目标缓存地址的剩余容量大于 第一阈值,则将所述数据信息写入所述第一目标缓存地址。
作为一种具体的可选实施方式,预设条件可以一个阈值,比如设置为 60%,监控模块若监控到所述第一目标缓存地址的剩余容量大于60%,说 明该第一目标缓存地址(如Channel1)基本是空闲的,也Channel1绑定 的Sink1的数据处理能力很强,Source1将数据信息写入Channel,数据 分发完成。
本申请实施例提供的一种动态的负载均衡分配方法,第一代理服务接 收用户终端发送的数据信息;根据当前轮询周期的第一剩余缓存地址,为 数据信息分配第一目标缓存地址;监控第一目标缓存地址的剩余容量,并 在监控到第一目标缓存地址的剩余容量大于第一阈值时,将数据信息写入 第一目标缓存地址,通过动态监控分配的第一目标缓存地址的剩余容量, 并动态为数据信息分配第一目标缓存地址,缓解了由于某一缓存地址的负载瓶颈问题而导致的数据无法分发的问题。
进一步的,本申请实施例提供的动态负载均衡分配方法还包括:
第一代理服务若监控到所述第一目标缓存地址的剩余容量不大于第一 阈值,则返回根据当前轮询周期的剩余缓存地址,为所述数据信息分配第 一目标缓存地址的步骤,直至为所述数据信息分配的第一目标缓存地址的 剩余容量大于第一阈值,或者,当前轮询周期不存在第一剩余缓存地址;
在当前轮询周期不存在第一剩余缓存地址时,若不存在剩余容量大于 第一阈值的所述第一目标缓存地址,则从所述第一剩余缓存地址中查找剩 余容量大于第二阈值的第一目标缓存地址。
本申请实施例中,Source1中的监控模块若监控到所述第一目标缓存 地址(如Channel1)的剩余容量小于等于第一阈值,Source1继续轮询所 有的缓存地址,获取当前轮询周期内的第一剩余缓存地址,然后,按照预 设的轮询顺序从第一剩余缓存地址中选择第一目标缓存地址(如 Channel2),若Channel2的剩余容量大于第一阈值,则接收到的数据信息 写入Channel2。若Channel2的剩余容量小于第一阈值,则继续轮询,若 一直不存在剩余容量大于第一阈值的数据信息,则直至当前轮询周期不存 在第一剩余缓存地址结束轮询。
如果轮询一轮第一剩余缓存地址后没有找到空闲Channel,根据轮询 的各个第一剩余缓存地址的剩余空间,从所述第一剩余缓存地址中选择剩 余容量大于第二阈值的第一目标缓存地址,若第一目标缓存地址为多个, 则从多个中选择剩余容量最大第一剩余缓存地址,作为第一目标缓存地 址。
也即,如果轮询一轮后没有找到空闲Channel,在之前轮询中查询了 各个Channel的剩余空间,并计算出了当前所有Channel相对最为空闲的 那个Channel,将数据分发到该Channel。
进一步的,如图5所示,本申请实施例提供的动态负载均衡分配方法 中,所述服务器还包括第二代理服务;步骤104,所述第一代理服务将所 述数据信息写入所述第一目标缓存地址之后,所述方法还包括:
S201、所述第一代理服务读取所述第一目标缓存地址中的数据信息; 其中,所述数据信息携带有标识信息。
S202、所述第一代理服务根据所述数据信息携带的标识信息,查找与 所述标识信息对应的第二代理服务的目的地址。
S203、所述第一代理服务基于所述目的地址,向第二代理服务发送所 述数据信息。
S204、所述第一代理服务若确定所述数据信息发送成功,则删除所述 目标缓存地址中与所述标识信息对应的数据信息。
结合步骤201至步骤204,Source在将在数据信息写入Channel1后, Channel1连接的sink1会读取Channel1中的数据信息,并根据该数据信 息的标识信息查找到该数据信息的目的地址(即第二代理服务中Source2 的地址),然后,sink1将读取的数据信息发送给第二代理服务中的 Source2。sink1在确定所述数据信息发送成功,通知Channel1删除该数据信息。
进一步的,如图6所示,本申请实施例提供的动态负载均衡分配方法 中,步骤102,所述第一代理服务为所述数据信息分配第一目标缓存地址 之后,所述方法还包括:
S301、所述第一代理服务记录与所述数据信息的标识信息对应的第一 目标缓存地址。
S302、所述第一代理服务在接收到用户终端发送的新数据信息后,查 找与所述新数据信息的目标标识信息对应的第一目标缓存地址。
S303、所述第一代理服务将所述新数据信息写入查找到的所述第一目 标缓存地址。
结合步骤301至步骤303,考虑相同标识信息的异步数据,Source1在 接收到数据信息并为Source1分配第一目标缓存地址后,记录该数据信息 的标识信息以及与该标识信息对应的第一目标缓存地址。这样,若后续 Source1在接收到该标识信息的异步数据信息后,能够查找到与异步数据 信息的目标标识信息对应的第一目标缓存地址,并将该异步数据信息写入 第一目标缓存地址。这样,就保证了具有相同标识的异步数据信息能够分 发给同一个其他代理服务器。
进一步的,如图7所示,本申请实施例提供的动态负载均衡分配方法 中,应用于服务器中的第二代理服务,所述方法还包括:
S401、所述第二代理服务接收第一代理服务发送的数据信息,并为所 述数据信息分配第二目标缓存地址。
S402、将所述数据信息发送至所述目标缓存地址对应的第二目标缓存 地址。
S403、按照预设的时间周期对第二目标缓存地址中的数据信息进行统 计,得到数据统计信息。
S404、将所述数据统计信息写入对应的存储介质。
结合步骤401至步骤404,第一代理服务用来进行数据信息的分发, 第二代理服务用来进行数据信息的处理,如对数据信息进行统计。第二代 理服务中的Source2接收sink1发送的数据信息,然后为所述数据信息分 配第二目标缓存地址(即Channel4),并将数据信息写入Channel4。 Channel4连接的sink4按照预设的时间周期读取Channel4中的数据信息进行统计,得到数据统计信息;sink4读取所述数据统计信息写入对应的 存储介质(比如HDFS)。
进一步的,如图8所示,本申请实施例提供的动态负载均衡分配方法 中,步骤401,所述为所述数据信息分配第二目标缓存地址,所述方法还 包括:
S501、所述第二代理服务根据当前轮询周期的第二剩余缓存地址,为 所述数据信息分配第二目标缓存地址。
S502、所述第二代理服务监控所述第二目标缓存地址的剩余容量。
S503、第二代理服务若监控到所述目标缓存地址的剩余容量大于第一 阈值,则将所述数据信息写入所述第二目标缓存地址。
结合步骤501至步骤503,第二代理服务中的Source2在接收到数据 信息后,轮询所有的缓存地址,获取当前轮询周期内的第二剩余缓存地址, 然后,按照预设的轮询顺序从第二剩余缓存地址中选择第二目标缓存地址 (如Channel4),作为分配给数据信息的第二目标缓存地址。本申请实施 例中,预先在Source2中配置监控模块,通过Source2中的监控模块监控 所述第一目标缓存地址的剩余容量。
作为一种具体的可选实施方式,预设条件可以一个阈值,比如设置为 60%,监控模块若监控到所述第二目标缓存地址的剩余容量大于60%,说 明该第二目标缓存地址(如Channel4)基本是空闲的,也即Channel4绑 定的Sink4的数据处理能力很强,Source2将数据信息写入Channel4,数 据分发完成。
本申请实施例提供的一种动态的负载均衡分配方法及装置,第一代理 服务接收用户终端发送的数据信息;根据当前轮询周期的第一剩余缓存地 址,为数据信息分配第一目标缓存地址;监控第一目标缓存地址的剩余容 量,并在监控到第一目标缓存地址的剩余容量大于第一阈值时,将数据信 息写入第一目标缓存地址,通过动态监控分配的第一目标缓存地址的剩余 容量,并动态为数据信息分配第一目标缓存地址,缓解了由于某一缓存地址的负载瓶颈问题而导致的数据无法分发的问题。
本申请第二实施例提供的一种动态负载均衡分配装置,如图2所示, 包括第一代理服务;所述第一代理服务11,用于:
接收用户终端发送的数据信息;
根据当前轮询周期的第一剩余缓存地址,为所述数据信息分配第一目 标缓存地址;其中,一个轮询周期中的缓存地址分配给具有相同标识的数 据信息;
监控所述第一目标缓存地址的剩余容量;
若监控到所述第一目标缓存地址的剩余容量大于第一阈值,则将所述 数据信息写入所述第一目标缓存地址。
进一步的,如图8所示,本申请实施例提供的动态负载均衡分配装置 中,第一代理服务11,还用于:
若监控到所述第一目标缓存地址的剩余容量不大于第一阈值,则返回 根据当前轮询周期的剩余缓存地址,为所述数据信息分配第一目标缓存地 址的步骤,直至为所述数据信息分配的第一目标缓存地址的剩余容量大于 第一阈值,或者,当前轮询周期不存在第一剩余缓存地址;
在当前轮询周期不存在第一剩余缓存地址时,若不存在剩余容量大于 第一阈值的所述第一目标缓存地址,则从所述第一剩余缓存地址中查找剩 余容量大于第二阈值的第一目标缓存地址。
进一步的,如图8所示,本申请实施例提供的动态负载均衡分配装置 中,还包括第二代理服务21;第一代理服务11,还用于:
读取所述第一目标缓存地址中的数据信息;其中,所述数据信息携带 有标识信息;
根据所述数据信息携带的标识信息,查找与所述标识信息对应的所述 第二代理服务的目的地址;
基于所述目的地址,向所述第二代理服务发送所述数据信息;
若确定所述数据信息发送成功,则删除所述目标缓存地址中与所述标 识信息对应的数据信息。
进一步的,如图8所示,本申请实施例提供的动态负载均衡分配装置 中,第一代理服务11,还用于:
记录与所述数据信息的标识信息对应的第一目标缓存地址;
在接收到用户终端发送的新数据信息后,查找与所述新数据信息的目 标标识信息对应的第一目标缓存地址;
将所述新数据信息写入查找到的所述第一目标缓存地址。
进一步的,如图8所示,本申请实施例提供的动态负载均衡分配装置 中,第二代理服务21,用于:
接收第一代理服务发送的数据信息,并为所述数据信息分配第二目标 缓存地址;
将所述数据信息发送至所述第二目标缓存地址;
按照预设的时间周期对第二目标缓存地址中的数据信息进行统计,得 到数据统计信息;
将所述数据统计信息写入对应的存储介质。
进一步的,如图8所示,本申请实施例提供的动态负载均衡分配装置 中,所述第二代理服务21,具体用于:
根据当前轮询周期的第二剩余缓存地址,为所述数据信息分配第二目 标缓存地址;
监控所述第二目标缓存地址的剩余容量;
若监控到所述目标缓存地址的剩余容量大于第一阈值,则将所述数据 信息写入所述第二目标缓存地址。
图9为本申请一实施例提供的计算机设备40的结构示意图,如图9所 示,用于执行上述动态负载均衡分配方法,该设备包括存储器401、处理 器402及存储在该存储器401上并可在该处理器402上运行的计算机程 序,其中,上述处理器402执行上述计算机程序时实现上述动态负载均衡 分配方法的步骤。
具体地,上述存储器401和处理器402能够为通用的存储器和处理器, 这里不做具体限定,当处理器402运行存储器401存储的计算机程序时, 能够执行上述动态负载均衡分配方法。
对应于上述动态负载均衡分配方法,本申请实施例还提供了一种计算 机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机 程序被处理器运行时执行上述动态负载均衡分配方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等, 该存储介质上的计算机程序被运行时,能够执行上述动态负载均衡分配方 法。
本申请实施例所提供的动态负载均衡分配装置可以为设备上的特定硬 件或者安装于设备上的软件或固件等。本申请实施例所提供的装置,其实 现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施 例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术 人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和 单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以 通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如, 所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划 分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统, 或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦 合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的, 作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地 方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单 元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成 在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申 请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储 介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服 务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘 等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一 旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步 定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述, 而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用 以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于 此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术 人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围 内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都 应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利 要求的保护范围为准。

Claims (10)

1.一种动态负载均衡分配方法,其特征在于,应用于服务器中的第一代理服务,所述方法包括:
第一代理服务接收用户终端发送的数据信息;
第一代理服务根据当前轮询周期的第一剩余缓存地址,为所述数据信息分配第一目标缓存地址;其中,一个轮询周期中的缓存地址分配给具有相同标识的数据信息;
第一代理服务监控所述第一目标缓存地址的剩余容量;
第一代理服务若监控到所述第一目标缓存地址的剩余容量大于第一阈值,则将所述数据信息写入所述第一目标缓存地址。
2.根据权利要求1所述的动态负载均衡分配方法,其特征在于,所述方法还包括:
第一代理服务若监控到所述第一目标缓存地址的剩余容量不大于第一阈值,则返回根据当前轮询周期的剩余缓存地址,为所述数据信息分配第一目标缓存地址的步骤,直至为所述数据信息分配的第一目标缓存地址的剩余容量大于第一阈值,或者,当前轮询周期不存在第一剩余缓存地址;
在当前轮询周期不存在第一剩余缓存地址时,若不存在剩余容量大于第一阈值的所述第一目标缓存地址,则从所述第一剩余缓存地址中查找剩余容量大于第二阈值的第一目标缓存地址。
3.根据权利要求1或2所述的动态负载均衡分配方法,其特征在于,所述服务器还包括第二代理服务;所述第一代理服务将所述数据信息写入所述第一目标缓存地址之后,所述方法还包括:
所述第一代理服务读取所述第一目标缓存地址中的数据信息;其中,所述数据信息携带有标识信息;
所述第一代理服务根据所述数据信息携带的标识信息,查找与所述标识信息对应的所述第二代理服务的目的地址;
所述第一代理服务基于所述目的地址,向所述第二代理服务发送所述数据信息;
所述第一代理服务若确定所述数据信息发送成功,则删除所述目标缓存地址中与所述标识信息对应的数据信息。
4.根据权利要求1或2所述的动态负载均衡分配方法,其特征在于,所述第一代理服务为所述数据信息分配第一目标缓存地址之后,所述方法还包括:
所述第一代理服务记录与所述数据信息的标识信息对应的第一目标缓存地址;
所述第一代理服务在接收到用户终端发送的新数据信息后,查找与所述新数据信息的目标标识信息对应的第一目标缓存地址;
所述第一代理服务将所述新数据信息写入查找到的所述第一目标缓存地址。
5.根据权利要求3所述的动态负载均衡分配方法,其特征在于,应用于服务器中的第二代理服务,所述方法还包括:
所述第二代理服务接收第一代理服务发送的数据信息,并为所述数据信息分配第二目标缓存地址;
所述第二代理服务将所述数据信息发送至所述第二目标缓存地址;
所述第二代理服务按照预设的时间周期对第二目标缓存地址中的数据信息进行统计,得到数据统计信息;
将所述数据统计信息写入对应的存储介质。
6.根据权利要求5所述的动态负载均衡分配方法,其特征在于,所述第二代理服务为所述数据信息分配第二目标缓存地址,包括:
所述第二代理服务根据当前轮询周期的第二剩余缓存地址,为所述数据信息分配第二目标缓存地址;
所述第二代理服务监控所述第二目标缓存地址的剩余容量;
第二代理服务若监控到所述目标缓存地址的剩余容量大于第一阈值,则将所述数据信息写入所述第二目标缓存地址。
7.一种动态负载均衡分配装置,其特征在于,包括第一代理服务;所述第一代理服务,用于:
接收用户终端发送的数据信息;
根据当前轮询周期的第一剩余缓存地址,为所述数据信息分配第一目标缓存地址;其中,一个轮询周期中的缓存地址分配给具有相同标识的数据信息;
监控所述第一目标缓存地址的剩余容量;
在监控到所述第一目标缓存地址的剩余容量大于第一阈值时,将所述数据信息写入所述第一目标缓存地址。
8.根据权利要求7所述的动态负载均衡分配装置,其特征在于,所述第一代理服务,还用于:
若监控到所述第一目标缓存地址的剩余容量不大于第一阈值,则返回根据当前轮询周期的剩余缓存地址,为所述数据信息分配第一目标缓存地址的步骤,直至为所述数据信息分配的第一目标缓存地址的剩余容量大于第一阈值,或者,当前轮询周期不存在第一剩余缓存地址;
在当前轮询周期不存在第一剩余缓存地址时,若不存在剩余容量大于第一阈值的所述第一目标缓存地址,则从所述第一剩余缓存地址中查找剩余容量大于第二阈值的第一目标缓存地址。
9.根据权利要求7或8所述的动态负载均衡分配装置,其特征在于,还包括第二代理服务;所述第一代理服务,还用于:
读取所述第一目标缓存地址中的数据信息;其中,所述数据信息携带有标识信息;
根据所述数据信息携带的标识信息,查找与所述标识信息对应的所述第二代理服务的目的地址;
基于所述目的地址,向所述第二代理服务发送所述数据信息;
在确定所述数据信息发送成功时,删除所述目标缓存地址中与所述标识信息对应的数据信息。
10.根据权利要求7或8所述的动态负载均衡分配装置,其特征在于,所述第一代理服务,还用于:
记录与所述数据信息的标识信息对应的第一目标缓存地址;
在接收到用户终端发送的新数据信息后,查找与所述新数据信息的目标标识信息对应的第一目标缓存地址;
将所述新数据信息写入查找到的所述第一目标缓存地址。
CN201811300878.1A 2018-11-02 2018-11-02 一种动态的负载均衡分配方法及装置 Pending CN109309603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811300878.1A CN109309603A (zh) 2018-11-02 2018-11-02 一种动态的负载均衡分配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811300878.1A CN109309603A (zh) 2018-11-02 2018-11-02 一种动态的负载均衡分配方法及装置

Publications (1)

Publication Number Publication Date
CN109309603A true CN109309603A (zh) 2019-02-05

Family

ID=65222821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811300878.1A Pending CN109309603A (zh) 2018-11-02 2018-11-02 一种动态的负载均衡分配方法及装置

Country Status (1)

Country Link
CN (1) CN109309603A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430268A (zh) * 2019-08-08 2019-11-08 中国工商银行股份有限公司 基于分布式服务的静态资源路由方法及装置
CN110995717A (zh) * 2019-12-06 2020-04-10 杭州海康威视数字技术股份有限公司 报文处理方法、装置、电子设备及漏洞扫描系统
CN111193904A (zh) * 2019-12-17 2020-05-22 视联动力信息技术股份有限公司 巡检控制方法、装置及可读存储介质
CN111245743A (zh) * 2020-01-09 2020-06-05 浙江吉利汽车研究院有限公司 一种信息处理方法、存储介质、网关及汽车
CN114629748A (zh) * 2022-04-01 2022-06-14 日立楼宇技术(广州)有限公司 一种楼宇数据的处理方法、楼宇的边缘网关及存储介质
CN116939228A (zh) * 2023-07-27 2023-10-24 北京和德宇航技术有限公司 遥感影像的分布式处理方法、装置、设备及存储介质
CN117573043A (zh) * 2024-01-17 2024-02-20 济南浪潮数据技术有限公司 分布式存储数据的传输方法、装置、系统、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202093513U (zh) * 2011-03-30 2011-12-28 中国工商银行股份有限公司 大批量数据处理系统
US20160314023A1 (en) * 2015-04-21 2016-10-27 International Business Machines Corporation Dynamic load balancing for data allocation to servers
CN106453665A (zh) * 2016-12-16 2017-02-22 东软集团股份有限公司 基于分布式缓存系统的数据缓存方法、服务器和系统
CN107092525A (zh) * 2016-02-18 2017-08-25 深圳市深信服电子科技有限公司 数据缓存方法和装置
CN108268318A (zh) * 2016-12-30 2018-07-10 华为技术有限公司 一种分布式系统任务分配的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202093513U (zh) * 2011-03-30 2011-12-28 中国工商银行股份有限公司 大批量数据处理系统
US20160314023A1 (en) * 2015-04-21 2016-10-27 International Business Machines Corporation Dynamic load balancing for data allocation to servers
CN107092525A (zh) * 2016-02-18 2017-08-25 深圳市深信服电子科技有限公司 数据缓存方法和装置
CN106453665A (zh) * 2016-12-16 2017-02-22 东软集团股份有限公司 基于分布式缓存系统的数据缓存方法、服务器和系统
CN108268318A (zh) * 2016-12-30 2018-07-10 华为技术有限公司 一种分布式系统任务分配的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张慧祥: "《网络控制与应用》", 31 August 2013, 西北工业大学出版社 *
田文洪: "《云计算 资源调度管理》", 31 July 2011, 国防工业出版社 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430268A (zh) * 2019-08-08 2019-11-08 中国工商银行股份有限公司 基于分布式服务的静态资源路由方法及装置
CN110430268B (zh) * 2019-08-08 2022-03-11 中国工商银行股份有限公司 基于分布式服务的静态资源路由方法及装置
CN110995717A (zh) * 2019-12-06 2020-04-10 杭州海康威视数字技术股份有限公司 报文处理方法、装置、电子设备及漏洞扫描系统
CN110995717B (zh) * 2019-12-06 2022-11-01 杭州海康威视数字技术股份有限公司 报文处理方法、装置、电子设备及漏洞扫描系统
CN111193904A (zh) * 2019-12-17 2020-05-22 视联动力信息技术股份有限公司 巡检控制方法、装置及可读存储介质
CN111193904B (zh) * 2019-12-17 2022-12-13 视联动力信息技术股份有限公司 巡检控制方法、装置及可读存储介质
CN111245743A (zh) * 2020-01-09 2020-06-05 浙江吉利汽车研究院有限公司 一种信息处理方法、存储介质、网关及汽车
CN111245743B (zh) * 2020-01-09 2023-09-08 浙江吉利汽车研究院有限公司 一种信息处理方法、存储介质、网关及汽车
CN114629748A (zh) * 2022-04-01 2022-06-14 日立楼宇技术(广州)有限公司 一种楼宇数据的处理方法、楼宇的边缘网关及存储介质
CN114629748B (zh) * 2022-04-01 2023-08-15 日立楼宇技术(广州)有限公司 一种楼宇数据的处理方法、楼宇的边缘网关及存储介质
CN116939228A (zh) * 2023-07-27 2023-10-24 北京和德宇航技术有限公司 遥感影像的分布式处理方法、装置、设备及存储介质
CN117573043A (zh) * 2024-01-17 2024-02-20 济南浪潮数据技术有限公司 分布式存储数据的传输方法、装置、系统、设备和介质

Similar Documents

Publication Publication Date Title
CN109309603A (zh) 一种动态的负载均衡分配方法及装置
US11436175B2 (en) Methods for intelligent load balancing and high speed intelligent network recorders
CN107092437B (zh) 数据写入、读取方法及装置、云存储系统
CN106095572B (zh) 一种大数据处理的分布式调度系统及方法
US10601735B2 (en) Coalescing messages using a network interface controller
CN109302498B (zh) 一种网络资源访问方法及装置
CN107395659A (zh) 一种业务受理及共识的方法及装置
US10346367B1 (en) Load shedding techniques for distributed services with persistent client connections to ensure quality of service
CN109510878B (zh) 一种长连接会话保持方法和装置
CA3157501A1 (en) Latency-based routing and load balancing in a network
CN104579765A (zh) 一种集群系统的容灾方法和装置
CN109388351A (zh) 一种分布式数据存储的方法及相关装置
Nguyen et al. Evaluation of highly available cloud streaming systems for performance and price
CN108092908A (zh) 控制流量的方法和发送端设备
CN109150745A (zh) 一种报文处理方法及装置
CN105302907A (zh) 一种请求的处理方法及装置
CN107896196B (zh) 一种分配报文的方法和装置
US20060195577A1 (en) Distributed server's failure response program product, server load balancing device, and server load balancing method
EP1515499A1 (en) System and method for routing network traffic
US9954971B1 (en) Cache eviction in a distributed computing system
CN108063814A (zh) 一种负载均衡方法及装置
CN108829340B (zh) 存储处理方法、装置、存储介质及处理器
Kontogiannis et al. ALBL: an adaptive load balancing algorithm for distributed web systems
US20140136647A1 (en) Router and operating method thereof
CN113055493B (zh) 数据包处理方法、装置、系统、调度设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190205

RJ01 Rejection of invention patent application after publication