CN114793215A - 一种基于负载均衡模式异步代理的分布式系统 - Google Patents

Abstract

本发明公开了一种基于负载均衡模式异步代理的分布式系统，包括网络监控模块、拓扑发现模块及负载均衡决策模块，网络监控模块监控网络中数据包的源地址，拓扑发现模块用于搜寻从源地址到目的地址的所有路径并组成拓扑，负载均衡决策模块选择拓扑中所有可达路径并下发到交换机，交换机通过openFlow代理以组表的形式记录所有路径信息；交换机中设置流量路径检测模块，用于实时判断当前数据包是否触发了一个新的流量路径，然后根据流量检测结果选择流量低于预设值的路径进行发包；本发明的优点在于：对划分不同流量路径的阈值进行设置，准确划分流量路径，并且选择流量低于预设值的路径进行发包，实现自适应负载均衡。

Description

一种基于负载均衡模式异步代理的分布式系统

技术领域

本发明涉及负载均衡技术领域，更具体涉及一种基于负载均衡模式异步代理的分布式系统。

背景技术

随着大数据和云计算等技术的发展，数据中心网络必须提供高对等分的网络架构才能够支撑越来越多的网络应用，基于多根对称拓扑的负载均衡方案己经被各大互联网公司采用，然而，即使是在高度对称的网络拓扑中，一旦出现了非对称拓扑，很多负载均衡模式都会失效，甚至会导致更加严重的网络拥塞。随机分组散布(Random Packet Scatter)也存在相同的问题，它也无法处理非对称拓扑的情况。由于缺乏感知能力，这些负载均衡模式将会导致更加严重的网络拥塞。

流量路径是指同一个流中时间间隔小于一个预设定阈值的所有数据包的集合。流量路径切换的转发逻辑保证同一个流量路径中的数据包所走的路径是相同的，不同流量路径中的数据包所走的路径是随机并且独立的。在网络拥塞的链路上，流量路径的大小往往更小一些。反之，流量路径的大小往往越大。基于流量路径切换的负载均衡模式借助于流量路径的特性，隐式的获取链路的拥塞信息，并以此来间接调节流的转发路径，因此无论在对称拓扑还是非对称拓扑中，都能够实现自适应的负载均衡。但是，达到这种自适应负载均衡效果的前提是区分不同流的阈值必须正确的设置。阈值设置的太小会导致包的失序，降低UDP(用户数据包协议)的性能；阈值设置的过大，流产生的机会大大降低，网络收敛的速度将会变得非常的慢，从而失去了负载均衡的意义。流量路径切换具有实现自适应负载均衡的能力，对于划分不同流量路径的阈值怎么设置，才能实现负载均衡却没有给出理论的分析。因此，阈值如何设置，关系到能否实现理想的负载均衡，这是基于流量路径切换实现自适应负载均衡还需解决的问题。

中国专利授权公告号CN108540206B，公开了一种基于流量预测的三层卫星网络负载均衡路由方法，属于卫星网络路由策略技术领域，该方法采用虚拟拓扑策略，考虑业务分类、星间距离、当前卫星节点活跃度以及下一时间段内的流量预测值，在路由计算时分为两步考虑：第一步为时间片切换重路由，即在时间片切换时以距离为权值计算最短路径；第二步为时间片路由，即在时间片内以流量预测值为权值计算最短路径。该发明的方法面向卫星节点，引导流量向低流量、低活跃度的卫星节点转移，实现流量的负载均衡，提高整网的吞吐量，降低整网的平均传输时延。其虽然基于最短路径计算的方式进行流量路径切换，但是由于对于划分不同流量路径的阈值没有给出分析，所以最短路径的计算可能存在错误，从而难以实现自适应负载均衡。

发明内容

本发明所要解决的技术问题在于现有技术负载均衡系统由于没有对划分不同流量路径的阈值进行设置，导致流量路径划分不准确，从而难以实现自适应负载均衡。

本发明通过以下技术手段实现解决上述技术问题的：一种基于负载均衡模式异步代理的分布式系统，包括网络监控模块、拓扑发现模块及负载均衡决策模块，所述网络监控模块监控网络中数据包的源地址，所述拓扑发现模块用于搜寻从源地址到目的地址的所有路径并组成拓扑，负载均衡决策模块选择拓扑中所有可达路径并下发到交换机，所述交换机通过openFlow代理以组表的形式记录所有路径信息，哈希表存储组表中每条路径信息的键值，哈希表中的键值与组表中路径信息的位置对应，根据键值搜寻对应的路径信息；交换机中设置流量路径检测模块，用于实时判断当前数据包是否触发了一个新的流量路径，如果当前数据包的到达交换节点的时间与该包所属流的最后一个数据包的到达时间的差值大于交换机中设定的阈值，则触发了一个新的流量路径，然后根据流量检测结果选择流量低于预设值的路径进行发包。

本发明实时判断当前数据包是否触发了一个新的流量路径，如果当前数据包的到达交换节点的时间与该包所属流的最后一个数据包的到达时间的差值大于交换机中设定的阈值，则触发了一个新的流量路径，对划分不同流量路径的阈值进行设置，准确划分流量路径，并且选择流量低于预设值的路径进行发包，实现自适应负载均衡。

进一步地，所述组表中路径信息包括五元组信息以及当前每个数据流的最后一个包的到达时间以及出端口信息，五元组信息包括入端口、源地址、目的地址、UDP源端口、UDP目的端口。

进一步地，所述网络监控模块通过读取网卡驱动中信息的IP头地址，获取网络中数据包的源地址。

进一步地，所述拓扑发现模块搜寻从源地址到目的地址的所有路径的过程为：从源地址往外发一个数据包给第一级设备的默认网关，第一级设备的默认网关检测是否有请求的目的地址，如有将数据包发到该目的地址，记录源地址到第一级设备的路径，如果没有，继续将数据包发给第二级设备的默认网关，第二级设备检测是否有请求的目的地址，如有将数据包发到该目的地址，循环执行上述步骤，得到从源地址到目的地址的多条路径。

进一步地，所述流量路径检测模块实时判断当前数据包是否触发新的流量路径，在负载均衡决策模块下发的所有可达路径的流量都超过最大设定值的情况下，选择检测到的新的流量路径进行发包。

进一步地，所述交换机中设置组表选择模块，组表选择模块根据组表为新触发的流量路径随机选择动作桶，失效端口对应的动作桶从动作桶集中删除，保证可选的动作桶对应的端口都处于UP状态，所述动作桶中存储每个端口对应的token，失效端口指的是流量检测结果不满足要求的路径对应的端口集合。

更进一步地，所述组表选择模块设置两个哈希表last arrival_time和lastoutput_port，哈希表last arrival_time记录当前每个流到达交换节点的最后一个数据包的到达时间，哈希表last output_port记录当前每个流到达交换节点的最后一个数据包的出端口信息。

更进一步地，从哈希表last arrival_time中检索数据包所属流上一个数据包达到交换机的时间，如果该记录存在，说明该流不是新流，只需更新哈希表last arrival_time的last arrival_time字段值；否则，证明该流是一个新流，向哈希表last arrival_time中添加一条新的记录。

更进一步地，如果该流不是新流，计算当前数据包到达交换节点的时间与上一个数据包达到交换机的时间的差值是否大于交换机中设定的阈值，如果差值大于设定的阈值，则该数据包触发了一个新的流量路径，检索匹配的组表，并从组表的动作桶中随机选择一个作为出端口，同时将出端口记录更新到哈希表last output_port中；如果差值不大于设定的阈值，则该数据包仍然属于当前的流量路径，从哈希表last output_port中检索该数据包所属流上一个数据包的出端口，检测该出端口对应的动作桶是否处于正常状态，如果不是，则从组表对应的动作桶集合中正常状态的动作桶中随机选择一个作为出端口，同时将该出端口记录更新到哈希表last_output_port中。

更进一步地，如果该流是新流，则该数据包触发了一个新的流量路径，检索匹配的组表，并从组表的动作桶中随机选择一个作为出端口，同时将出端口记录更新到哈希表last_output_port中，最终，交换机根据出端口记录指示的端口将数据包发往下一跳。

本发明的优点在于：本发明实时判断当前数据包是否触发了一个新的流量路径，如果当前数据包的到达交换节点的时间与该包所属流的最后一个数据包的到达时间的差值大于交换机中设定的阈值，则触发了一个新的流量路径，对划分不同流量路径的阈值进行设置，准确划分流量路径，并且选择流量低于预设值的路径进行发包，实现自适应负载均衡。

附图说明

图1为现有技术数据流交换流程示意图；

图2为现有技术基于负载均衡模式异步代理的分布式系统的架构图；

图3为本发明实施例所公开的一种基于负载均衡模式异步代理的分布式系统的架构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

负载均衡技术作为应对数据中心流量激增的有效手段，它扩大了网络的吞吐量，减少了网络的拥塞，提高了网络的灵活性和可用性。但是，并不是所有的负载均衡模式都能有效地应用在端口失效、不均等带宽以及交换机等网络设备异构所造成的非对称拓扑中。因此，在数据中心等网络环境中，越来越多的负载均衡模式主动的获取和更新网络的拥塞信息，并依据实时的拥塞信息作出负载均衡的决策，以此保证负载均衡系统在非对称拓扑中的健壮性。由于需要全局的网络控制器或者拓扑更新协议主动地获取链路带宽占用情况以及网络拓扑状态，所以实现一个能够在非对称拓扑中正常工作的负载均衡模式非常复杂。基于流量路径切换的负载均衡模式避免了由于需要实时获取拥塞信息而导致的实现复杂度高的问题，依然保持了在非对称拓扑中实现自适应负载均衡的特性。因此，基于流量路径切换的负载均衡模式是数据中心网络实现负载均衡的理想方案。数据流交换流水线定义了数据包是如何和这些流表交互的，如图1所示。对于到达交换节点的任何一个数据包，流水线总是从第一个流表开始，查找数据包匹配的流表实体。依赖于第一个流表中匹配的流表实体指示的指令集，该数据包有可能会被执行相关联的动作集或者交给下一级流表继续处理。图1中，ActionSet表示动作集，Ingressport表示入端口，Packet表示数据包，metadata表示元数据，Table表示流表。

基于负载均衡模式异步代理的分布式系统(load-balancing modeasynchronous-agent based distributed system，LMABDS)架构如图2所示，整个架构从下往上可以分为三层，分别是：内核空间、用户空间和配置管理层。内核空间的数据缓存负责根据流表进行分组的快速交换；用户空间的虚拟交换守护进程模块的主要功能是支持多样的网络协议，根据本地缓存数据库中存储的信息对交换机进行配置；配置管理层为用户提供诸如交换机内核配置、增删查改本地缓存数据库等的命令行工具。

本发明基于上述数据流交换以及系统架构原理，提供一种基于负载均衡模式异步代理的分布式系统(LMABDS)，实现在软件定义网络架构下，网络的拓扑信息、链路的带宽以及流的信息等由集中的控制器获取，而流量路径切换的转发逻辑实现在数据平面的交换机中。LMABDS的系统架构如图3所示，控制器上有3个核心模块，分别是网络监控模块、拓扑发现模块及负载均衡决策模块，所述网络监控模块监控网络中数据包的源地址，所述拓扑发现模块负责网络拓扑的发现，在链路断开或者端口启停时，实时的更新整个网络的拓扑，拓扑发现模块还用于搜寻从源地址到目的地址的所有路径并组成拓扑，负载均衡决策模块选择拓扑中所有可达路径并下发到交换机，所述交换机通过openFlow代理以组表的形式记录所有路径信息，哈希表存储组表中每条路径信息的键值，哈希表中的键值与组表中路径信息的位置对应，根据键值搜寻对应的路径信息；交换机中设置流量路径检测模块，用于实时判断当前数据包是否触发了一个新的流量路径，如果当前数据包的到达交换节点的时间与该包所属流的最后一个数据包的到达时间的差值大于交换机中设定的阈值，则触发了一个新的流量路径，然后根据流量检测结果选择流量低于预设值的路径进行发包。

所述组表中路径信息包括五元组信息以及当前每个数据流的最后一个包的到达时间以及出端口信息，五元组信息包括入端口、源地址、目的地址、UDP源端口、UDP目的端口。

所述网络监控模块通过读取网卡驱动中信息的IP头地址，获取网络中数据包的源地址。

所述拓扑发现模块搜寻从源地址到目的地址的所有路径的过程为：从源地址往外发一个数据包给第一级设备的默认网关，第一级设备的默认网关检测是否有请求的目的地址，如有将数据包发到该目的地址，记录源地址到第一级设备的路径，如果没有，继续将数据包发给第二级设备的默认网关，第二级设备检测是否有请求的目的地址，如有将数据包发到该目的地址，循环执行上述步骤，得到从源地址到目的地址的多条路径。

所述流量路径检测模块实时判断当前数据包是否触发新的流量路径，在负载均衡决策模块下发的所有可达路径的流量都超过最大设定值的情况下，选择检测到的新的流量路径进行发包。

所述交换机中设置组表选择模块，组表选择模块根据组表为新触发的流量路径随机选择动作桶，失效端口对应的动作桶从动作桶集中删除，保证可选的动作桶对应的端口都处于UP状态，所述动作桶中存储每个端口对应的token，失效端口指的是流量检测结果不满足要求的路径对应的端口集合。

所述组表选择模块设置两个哈希表last arrival_time和last output_port，哈希表last arrival_time记录当前每个流到达交换节点的最后一个数据包的到达时间，哈希表last output_port记录当前每个流到达交换节点的最后一个数据包的出端口信息。两个哈希表的结构分别如表1和2所示。

表1 Last_arrival_time哈希表结构

Hash Key	Last arrival time
		Key1	Last_time1
Key2	Last_time2
		.......	.......

表2 Last_output_port哈希表结构

Hash Key	Last output port
		Key1	Output_port1
Key2	Output_port2
		.......	.......

每收到一个数据包，交换机会记录当前的时间戳current_time。，从哈希表lastarrival_time中检索数据包所属流上一个数据包达到交换机的时间last time，如果该记录存在，说明该流不是新流，只需更新哈希表last arrival_time的last arrival_time字段值；否则，证明该流是一个新流，向哈希表last arrival_time中添加一条新的记录。如果该流不是新流，计算current_time和last_time的差值是否大于交换机中设定的阈值，如果差值大于设定的阈值，则该数据包触发了一个新的流量路径，检索匹配的组表，并从组表的动作桶中随机选择一个作为出端口，同时将出端口记录更新到哈希表last output_port中；如果差值不大于设定的阈值，则该数据包仍然属于当前的流量路径，从哈希表lastoutput_port中检索该数据包所属流上一个数据包的出端口，检测该出端口对应的动作桶是否处于正常状态，如果不是，则从组表对应的动作桶集合中正常状态的动作桶中随机选择一个作为出端口，同时将该出端口记录更新到哈希表last_output_port中。如果该流是新流，则该数据包触发了一个新的流量路径，检索匹配的组表，并从组表的动作桶中随机选择一个作为出端口，同时将出端口记录更新到哈希表last_output_port中，最终，交换机根据出端口记录指示的端口将数据包发往下一跳。

本发明的LMABDS具有快速收敛机制，在动态的网络环境中，须基于当前的网络状况，正确的设置用于区分不同流量路径的阈值，以保证基于流量路径切换的负载均衡具有自适应的效果。阈值设置的太大或者太小，都不可能达到理想的负载比例，甚至会出现加剧网络拥塞的情况。因此，基于流量路径切换的负载均衡模式必须加入阈值检查与更新机制，以保证负载均衡能够收敛到理想的负载比例，并保证收敛的速度。LMABDS的快速收敛机制由数据平面的出端口状态检查、控制平面的阈值周期检查以及组表动态更新机制等共同保证。

在控制平面，控制器根据当前的拓扑信息和流的信息，周期性的计算阈值的下限，并检查当前的阈值是否不小于该下限值，如果满足，则不做任何操作。否则，控制器将会产生一个满足条件的新的阈值，并更新到数据平面的交换机中。拓扑信息和流信息的动态更新由控制器中网络监控模块和拓扑发现模块共同完成。每当有新流加入到网络，因为没有匹配的流表项，交换机将会向控制器发送packet in消息。网络监控模块通过对pacekt_in消息的监听来感知新流的加入，并更新网络中流总数目计数器。当在idle-timeout时间间隔内，流没有数据包发送到网络中，则该流表就会过期，并向控制器发送flow_removed消息。如果网络监控模块在阈值更新周期内监听到了flow_removed消息，则更新流总数目计算器，将其减1，认为有流离开了网络。拓扑发现模块通过LLDP机制发现整个网络拓扑，并通过监听port_up和port_down消息动态地更新网络拓扑。一旦负载均衡的多路径出现了失效或者恢复现象，负载均衡决策模块都会自动的向交换机重新下发多路径路由相关的组表。

在数据平面，LMABDS的快速收敛由交换机的出端口状态检查提供支持，主要体现在两个方面。第一，组表选择算法根据组表为新触发的流量路径随机选择动作桶时，失效端口对应的动作桶会从动作桶集中删除，保证可选的动作桶对应的端口都处于UP状态。第二，每次从last output_port哈希表中检索出出端口之后，都进行一次额外的操作，用以检测该端口是否可用。如果不可用，则根据组表重新选择出端口，同时向控制器主动发送port_down消息，以便控制器及时地对交换机中的组表信息进行更新。针对网络的动态变化特性，LMABDS在控制平面和数据平面的收敛机制基本能够满足基于流量路径切换的负载均衡模式在网络动态变化时对阈值动态更新的要求

通过以上技术方案，本发明实时判断当前数据包是否触发了一个新的流量路径，如果当前数据包的到达交换节点的时间与该包所属流的最后一个数据包的到达时间的差值大于交换机中设定的阈值，则触发了一个新的流量路径，对划分不同流量路径的阈值进行设置，准确划分流量路径，并且选择流量低于预设值的路径进行发包，实现自适应负载均衡。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于负载均衡模式异步代理的分布式系统，其特征在于，包括网络监控模块、拓扑发现模块及负载均衡决策模块，所述网络监控模块监控网络中数据包的源地址，所述拓扑发现模块用于搜寻从源地址到目的地址的所有路径并组成拓扑，负载均衡决策模块选择拓扑中所有可达路径并下发到交换机，所述交换机通过openFlow代理以组表的形式记录所有路径信息，哈希表存储组表中每条路径信息的键值，哈希表中的键值与组表中路径信息的位置对应，根据键值搜寻对应的路径信息；交换机中设置流量路径检测模块，用于实时判断当前数据包是否触发了一个新的流量路径，如果当前数据包的到达交换节点的时间与该包所属流的最后一个数据包的到达时间的差值大于交换机中设定的阈值，则触发了一个新的流量路径，然后根据流量检测结果选择流量低于预设值的路径进行发包。

2.根据权利要求1所述的一种基于负载均衡模式异步代理的分布式系统，其特征在于，所述组表中路径信息包括五元组信息以及当前每个数据流的最后一个包的到达时间以及出端口信息，五元组信息包括入端口、源地址、目的地址、UDP源端口、UDP目的端口。

3.根据权利要求1所述的一种基于负载均衡模式异步代理的分布式系统，其特征在于，所述网络监控模块通过读取网卡驱动中信息的IP头地址，获取网络中数据包的源地址。

4.根据权利要求1所述的一种基于负载均衡模式异步代理的分布式系统，其特征在于，所述拓扑发现模块搜寻从源地址到目的地址的所有路径的过程为：从源地址往外发一个数据包给第一级设备的默认网关，第一级设备的默认网关检测是否有请求的目的地址，如有将数据包发到该目的地址，记录源地址到第一级设备的路径，如果没有，继续将数据包发给第二级设备的默认网关，第二级设备检测是否有请求的目的地址，如有将数据包发到该目的地址，循环执行上述步骤，得到从源地址到目的地址的多条路径。

5.根据权利要求1所述的一种基于负载均衡模式异步代理的分布式系统，其特征在于，所述流量路径检测模块实时判断当前数据包是否触发新的流量路径，在负载均衡决策模块下发的所有可达路径的流量都超过最大设定值的情况下，选择检测到的新的流量路径进行发包。

6.根据权利要求1所述的一种基于负载均衡模式异步代理的分布式系统，其特征在于，所述交换机中设置组表选择模块，组表选择模块根据组表为新触发的流量路径随机选择动作桶，失效端口对应的动作桶从动作桶集中删除，保证可选的动作桶对应的端口都处于UP状态，所述动作桶中存储每个端口对应的token，失效端口指的是流量检测结果不满足要求的路径对应的端口集合。

7.根据权利要求6所述的一种基于负载均衡模式异步代理的分布式系统，其特征在于，所述组表选择模块设置两个哈希表last arrival_time和last output_port，哈希表lastarrival_time记录当前每个流到达交换节点的最后一个数据包的到达时间，哈希表lastoutput_port记录当前每个流到达交换节点的最后一个数据包的出端口信息。

8.根据权利要求7所述的一种基于负载均衡模式异步代理的分布式系统，其特征在于，从哈希表last arrival_time中检索数据包所属流上一个数据包达到交换机的时间，如果该记录存在，说明该流不是新流，只需更新哈希表last arrival_time的last arrival_time字段值；否则，证明该流是一个新流，向哈希表last arrival_time中添加一条新的记录。

9.根据权利要求8所述的一种基于负载均衡模式异步代理的分布式系统，其特征在于，如果该流不是新流，计算当前数据包到达交换节点的时间与上一个数据包达到交换机的时间的差值是否大于交换机中设定的阈值，如果差值大于设定的阈值，则该数据包触发了一个新的流量路径，检索匹配的组表，并从组表的动作桶中随机选择一个作为出端口，同时将出端口记录更新到哈希表last output_port中；如果差值不大于设定的阈值，则该数据包仍然属于当前的流量路径，从哈希表last output_port中检索该数据包所属流上一个数据包的出端口，检测该出端口对应的动作桶是否处于正常状态，如果不是，则从组表对应的动作桶集合中正常状态的动作桶中随机选择一个作为出端口，同时将该出端口记录更新到哈希表last_output_port中。

10.根据权利要求8所述的一种基于负载均衡模式异步代理的分布式系统，其特征在于，如果该流是新流，则该数据包触发了一个新的流量路径，检索匹配的组表，并从组表的动作桶中随机选择一个作为出端口，同时将出端口记录更新到哈希表last_output_port中，最终，交换机根据出端口记录指示的端口将数据包发往下一跳。

Images