CN119728552B - 一种网元负载均衡方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例涉及数据处理技术领域，具体涉及一种网元负载均衡方法、装置、设备及存储介质。旨在实现网元负载均衡的同时，保证数据的准确转发。所述方法包括：交换机接收上游组件发送的流量数据；所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中；所述网元节点将处理后的所述流量数据发送至下游组件中；所述交换机将所述下游组件发送的响应数据发送至所述网元节点中；在所述网元节点运行异常的情况下，所述交换机将所述下游组件发送的所述响应数据发送至所述网元集群中的其余网元节点中；所述网元集群通过所述交换机将所述响应数据发送至所述上游组件。

Description

一种网元负载均衡方法、装置、设备及存储介质

技术领域

本申请实施例涉及数据处理技术领域，具体而言，涉及一种网元负载均衡方法、装置、设备及存储介质。

背景技术

云计算网络中通常部署有多种不同功能的网元，网元接收来自上游组件的数据包，将数据包进行处理后发送至下游组件。现有技术中为了保证数据的稳定传输，通常设置多个网元进行数据传输，上游组件可以均衡的将数据发送至多个网元中。

现有技术中，在设置了多个网元的情况下，下游组件向网元回复数据时无法确保报文能准确发送至之前发送数据的网元，导致多个网元中的会话不同步，进而无法进行数据转发，影响了云计算的数据传输效率。

发明内容

本申请实施例提供一种网元负载均衡方法、装置、设备及存储介质，旨在实现网元负载均衡的同时，保证数据的准确转发。

本申请实施例第一方面提供一种网元负载均衡方法，所述方法包括：

交换机接收上游组件发送的流量数据；

所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中；

所述网元节点通过所述交换机，将处理后的所述流量数据发送至下游组件中；

在所述网元节点正常运行的情况下，所述交换机根据所述网元节点发布的第二路由，将所述下游组件发送的响应数据发送至所述网元节点中；

在所述网元节点运行异常的情况下，所述交换机根据所述网元节点发布的第三路由，将所述下游组件发送的所述响应数据发送至所述网元集群中的其余网元节点中；

所述网元集群通过所述交换机将所述响应数据发送至所述上游组件。

可选地，在所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中，所述方法还包括：

所述网元节点的控制器单元从管理服务器中获取网元配置数据，所述网元配置数据包括网元主机名称、网元集群标识、所述虚拟地址、互联地址、网元节点地址、网元转发规则；

所述控制器单元将所述网元转发规则、所述虚拟地址、所述互联地址以及所述网元节点地址发送至所述网元节点的数据转发单元；

所述控制器单元将所述虚拟地址以及所述网元地址发送至所述网元节点中的BGP单元。

可选地，所述方法还包括：

所述网元控制器单元向所述BGP单元发送路由条目发送指令；

所述BGP单元根据所述路由条目发送指令，获取对应的路由，所述路由包括目的地址、下一跳地址、AS PATH信息；

所述BGP单元通过所述数据转发单元，将所述路由发送至所述交换机中。

可选地，所述BGP单元通过所述数据转发单元，将所述路由发送至所述交换机中，包括：

所述BGP单元通过所述数据转发单元，将所述第一路由发送至所述交换机中，所述第一路由对应的目的地址为所述虚拟地址，所述第一路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

所述BGP单元通过所述数据转发单元，将所述第二路由发送至所述交换机中，所述第二路由对应的目的地址为所述网元节点的网元节点地址，所述第二路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

所述BGP单元通过所述数据转发单元，将所述第三路由发送至所述交换机中，所述第三路由对应的目的地址为所述网元集群中除了所述BGP单元所在的网元节点之外的所有的网元节点的网元节点地址，所述第三路由对应的下一跳地址为所述互联地址，所述第三路由对应的所述AS PATH信息为所述网元节点的AS号。

可选地，所述方法还包括：

所述网元集群根据每个所述网元节点对应的所述互联地址，建立每个所述网元节点之间的同步会话；

通过所述同步会话，对每个所述网元节点中的数据流量的会话信息进行同步。

可选地，在所述网元节点正常运行的情况下，所述交换机根据所述网元节点发布的第二路由，将所述下游组件发送的响应数据发送至所述网元节点中之前，所述方法还包括：

所述交换机接收所述网元节点上的BGP单元发送的心跳信息；

在所述交换机正常接收所述心跳信息的情况下，确定所述网元节点正常运行；

在所述交换机无法正常接收所述心跳信息的情况下，确定所述网元节点运行异常。

可选地，所述方法还包括：

在确定所述网元节点运行异常的情况下，所述交换机断开与所述网元节点的连接；

将所述网元节点发送的路由信息删除。

本申请实施例第二方面提供一种网元负载均衡装置，所述装置包括：

数据接收模块，用于交换机接收上游组件发送的流量数据；

第一数据发送模块，用于所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中；

第二数据发送模块，用于所述网元节点通过所述交换机，将处理后的所述流量数据发送至下游组件中；

第三数据发送模块，用于在所述网元节点正常运行的情况下，所述交换机根据所述网元节点发布的第二路由，将所述下游组件发送的响应数据发送至所述网元节点中；

第四数据发送模块，用于在所述网元节点运行异常的情况下，所述交换机根据所述网元节点发布的第三路由，将所述下游组件发送的所述响应数据发送至所述网元集群中的其余网元节点中；

第五数据发送模块，用于所述网元集群通过所述交换机将所述响应数据发送至所述上游组件。

可选地，所述装置还包括：

配置数据获取模块，用于所述网元节点的控制器单元从管理服务器中获取网元配置数据，所述网元配置数据包括网元主机名称、网元集群标识、所述虚拟地址、互联地址、网元节点地址、网元转发规则；

第一配置数据发送模块，用于所述控制器单元将所述网元转发规则、所述虚拟地址、所述互联地址以及所述网元节点地址发送至所述网元节点的数据转发单元；

第二配置数据发送模块，用于所述控制器单元将所述虚拟地址以及所述网元地址发送至所述网元节点中的BGP单元。

可选地，所述装置还包括：

指令发送模块，用于所述网元控制器单元向所述BGP单元发送路由条目发送指令；

路由获取模块，用于所述BGP单元根据所述路由条目发送指令，获取对应的路由，所述路由包括目的地址、下一跳地址、AS PATH信息；

路由发送模块，用于所述BGP单元通过所述数据转发单元，将所述路由发送至所述交换机中。

可选地，所述路由发送模块包括：

第一路由发送子模块，用于所述BGP单元通过所述数据转发单元，将所述第一路由发送至所述交换机中，所述第一路由对应的目的地址为所述虚拟地址，所述第一路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

第二路由发送子模块，用于所述BGP单元通过所述数据转发单元，将所述第二路由发送至所述交换机中，所述第二路由对应的目的地址为所述网元节点的网元节点地址，所述第二路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

第三路由发送子模块，用于所述BGP单元通过所述数据转发单元，将所述第三路由发送至所述交换机中，所述第三路由对应的目的地址为所述网元集群中除了所述BGP单元所在的网元节点之外的所有的网元节点的网元节点地址，所述第三路由对应的下一跳地址为所述互联地址，所述第三路由对应的所述AS PATH信息为所述网元节点的AS号。

可选地，所述装置还包括：

会话同步模块，用于所述网元集群根据每个所述网元节点对应的所述互联地址，建立每个所述网元节点之间的同步会话；

信息同步模块，用于通过所述同步会话，对每个所述网元节点中的数据流量的会话信息进行同步。

可选地，所述装置还包括：

心跳信息接收模块，用于所述交换机接收所述网元节点上的BGP单元发送的心跳信息；

第一状态确定模块，用于在所述交换机正常接收所述心跳信息的情况下，确定所述网元节点正常运行；

第二状态确定模块，用于在所述交换机无法正常接收所述心跳信息的情况下，确定所述网元节点运行异常。

可选地，所述装置还包括：

连接断开模块，用于在确定所述网元节点运行异常的情况下，所述交换机断开与所述网元节点的连接；

信息删除模块，用于将所述网元节点发送的路由信息删除。

本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。

本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。

采用本申请提供的网元负载均衡方法，交换机接收上游组件发送的流量数据；所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中；所述网元节点通过所述交换机，将处理后的所述流量数据发送至下游组件中；在所述网元节点正常运行的情况下，所述交换机根据所述网元节点发布的第二路由，将所述下游组件发送的响应数据发送至所述网元节点中；在所述网元节点运行异常的情况下，所述交换机根据所述网元节点发布的第三路由，将所述下游组件发送的所述响应数据发送至所述网元集群中的其余网元节点中；所述网元集群通过所述交换机将所述响应数据发送至所述上游组件。

本方法中，交换机将流量数据均衡发送至网元集群中的多个节点中，保证网元节点的负载均衡，网元节点预先向交换机发布多条路由，在网元节点正常运行的情况下，下游组件向网元节点发送响应数据时，会根据网元节点对应的路由发送至原网元节点中，保证了数据的正常传输，在网元节点异常运行时，根据网元节点发送的路由，将响应数据发送至网元集群中的其余网元中，保证了网元的高可用性，不会中断数据传输，在实现网元负载均衡的同时，准确进行数据传输。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的数据传输示意图；

图2是本申请一实施例提出的网元负载均衡架构示意图；

图3是本申请一实施例提出的网元负载均衡方法的流程图；

图4是本申请一实施例提出的路由条目示意图；

图5是本申请一实施例提出的正常流量转发示意图；

图6是本申请一实施例提出的异常流量转发示意图；

图7是本申请一实施例提出的网元负载均衡装置的示意图；

图8是本申请一实施例提出的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了方便解释说明，首先将本申请使用到的名词进行解释说明：

BGP（Border Gateway Protocol，边界网关协议）：一种用来在路由选择域之间交换网络层可达性信息的路由选择协议。主要用于交换自治系统AS（Autonomous System）之间的可达路由信息，构建AS域间的传播路径，防止路由环路的产生。

MAC地址（Media Access Control Address）：媒体访问控制地址，也称作局域网地址，以太网地址或者物理地址。

LVS（Linux Virtual Server）：Linux虚拟服务器，一个开源的负载均衡项目。

SNAT（Source Network Address Translation）：源网络地址转换。

DNAT（Destination Network Address Translation）：目的网络地址转换。

ECMP(Equal-cost multi-path)：等价多路径路由，当 IP 路由网络中存在多条到达同目的IP且开销相等的路由路径时，可以将流量按照特定规则转发到多个下一跳，实现网络链路级别的负载均衡，并在链路出现故障时，实现快速切换。

VIP（Virtual IP address）：虚拟IP地址。

相关技术中，计算机网络中通常部署多种不同功能的网元，网元接收来自上游组件的VXLAN数据包，对数据包中特定层的字段（如IP地址）和数据进行解析，按照预先设定的规则对数据包特定字段进行修改，最后将数据包封装转发到网络中的下游组件。

为了实现数据包的可靠转发，避免单个网元故障导致网络中断，通常需要部署多个相同功能的网元，当其中主网元故障时，使用特定的方法和机制切换备网元为主网元，继续转发数据包，这要求额外的网元设备投入，会增加网络的建设和维护成本，但网元的转发能力相对单一网元来说没有提升，资源利用率低，方案不适合大规模高带宽需求的网络使用。目前有相关技术提出使用多个网元实现多主（多活）的方式部署，相同功能的多个网元共同转发数据，要求将数据包发给网元的上游设备能够识别到作为下一跳的多个网元，根据特定的负载均衡策略将多个报文分别发送到多个可用的网元，当其中一个网元故障时，上游设备需要感知到网元的故障，并且将故障的设备从可用的下一跳列表中去除，避免将数据包发送给故障的网元造成丢包。

网元分为有状态的网元和无状态的网元两种类型，无状态的网元在转发数据包时只根据转发的规则不依赖于会话，IP网络中会话通常包括源IP、目的IP、源端口号、目的端口号、协议等信息，即历史数据包相关的信息，有状态的网元依据转发规则和会话进行数据转发，通常实现SNAT和DNAT的网元为有状态的网元。若有状态的网元为多活方式部署，则要求同一会话的来和去双向数据报文转发到同一个网元，否则会出现因会话信息的缺少导致报文被丢弃无法转发。

目前实现网元负载均衡的数据转发通常通过BGP、LVS、Nginx、Keepalived等软件实现，这类软件组合作为网元或者网元的一部分，实现数据负载均衡地由多个网元转发到下一跳。其中BGP的方式可基于向上游网络设备（如交换机）发送等价路由条目，实现ECMP数据流量负载均衡地发送到多个网元，但当下游设备回复报文时不能确保报文发送给之前发送请求报文的网元，会话不同步造成报文无法转发。LVS的方式基于修改下一跳的MAC地址实现负载均衡，要求客户端、LVS网元、后端网元或服务均处于一个二层的网络中，二层网络通常因为环路和广播风暴问题规模非常受限，不能用于大规模网络中，并且LVS不支持SNAT/DNAT等有状态的报文处理。Nginx与Keepalived等高可用切换软件结合的方式，Nginx内部记录会话的信息，Keepalived实现在Nginx故障时的自动主备切换，但因为缺少会话同步等特性，无法实现多活的方式，无法横向拓展，不能满足大规模网络需求。

针对现有相关技术无法实现有状态的网元高可用负载均衡地部署、多活地进行数据转发的问题，本发明提供了一种适用于云计算网络的、有状态的网元实现高可用负载均衡的方法和装置。由配置数据库存储网元集群配置信息，由网元节点的网元控制器组件根据网元集群配置信息数据库，基于BGP实现网元对接上游网络设备的前端VIP地址发布和对接下游网络设备的BIP（Backend IP address）地址发布，网元上联的交换机基于ECMP实现上游流量负载均衡地转发到网元，有状态的数据转发组件实现数据转发和网元集群内的会话同步，转发组件使用本网元的BIP地址作为源IP将报文发送到下游组件，下游组件回复报文时目的IP为网元的BIP地址，由交换机根据集群网元BIP地址的AS PATH路径长度计算得出优先级，将回复报文送达原来发送该会话请求报文的网元，若该网元故障则发送给集群内其他网元，通过网元会话同步实现故障场景数据的正常转发，实现有状态网元的多活负载均衡部署，充分利用所有网元进行数据转发提高吞吐量，当网元故障时可自动切换流量，并且会话不丢失，支持大规模云计算网络的各类数据转发需求。

本申请实施例提出了一种多活有状态网元高可用负载均衡架构，参考图1，图1是本申请一实施例提出的数据传输示意图，如图1所示，上游组件的请求报文由交换机转发给多活有状态网元集群中的一个网元，传输时可以通过哈希值的方式将多个不同的请求分别发送至网元集群的多个节点，网元节点对报文进行处理并生成请求下游报文，将请求下游报文通过交换机发送给下游组件，交换机将下游组件的响应报文按照网元发布的路由送达转发请求的原网元，原网元处理响应报文并生成响应上游的报文，由交换机转发到上游组件。

参考图2，图2是本申请一实施例提出的网元负载均衡架构示意图，如图2所示，该架构包括：

网元配置数据库单元，用于存储网元集群的配置信息。

网元控制器单元，用于从网元配置数据库单元接收配置信息，控制数据转发单元转发数据，控制BGP单元向交换机发布路由。

BGP单元，用于实现BGP协议，根据网元控制器单元的指令，发送对应的路由至交换机中。

数据转发单元，用于根据网元控制器下发的转发规则进行数据的转发。

交换机单元，用于将上游组件发送的数据均衡的发送至各个网元节点中，将下游的响应数据根据BGP单元发布的路由返回至对应的网元节点中。

参考图3，图3是本申请一实施例提出的网元负载均衡方法的流程图。如图3所示，该方法包括以下步骤：

S11：交换机接收上游组件发送的流量数据。

本实施例中，在云网络中有上游组件（即客户端）需要请求下游组件（即服务端）的数据时，首先发送对应的流量数据，以报文的形式发送，交换机接收上游组件发送的流量数据。

S12：所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中。

本实施例中，网元集群中包括多个网元节点，第一路由中包含有网元集群的虚拟地址，交换机根据网元集群中的网元节点发布的第一路由，将流量数据负载均衡的发送至虚拟地址对应的网元集群中的至少一个网元节点中。

本实施例中，交换机单元与网元BGP模块建立BGP邻居，通过BGP协议接收来自网元的路由条目，并根据多个网元发布的路由条目汇总形成路由表，其中VIP地址作为目的地址的路由因为集群内各网元发布的AS PATH一致，生成ECMP等价路由，配置ECMP按照报文的五元组（源IP、目的IP、源端口、目的端口、协议）进行流量哈希，上游组件发往VIP的流量将负载均衡地发给集群内的网元，就是将接收到的流量数据均衡分配至各个网元节点中，根据各个网元节点的负载情况分配，使得各个网元节的负载相同。

S13：所述网元节点通过所述交换机，将处理后的所述流量数据发送至下游组件中。

本实施例中，网元节点在接收到流量数据之后，对流量数据进行处理，再将数据发送至交换机中，其中携带的源地址为该网元节点的网元节点地址，交换机以该网元节点的地址为源地址，将流量数据发送至下游组件中。

本实施例中，网元节点中的数据转发模块连接到物理网卡，接收目的IP为VIP地址的VXLAN数据包，判断为上游组件发来的数据包，根据进行VXLAN内层报文的SNAT/DNAT等报文转发操作，使用本网元节点的BIP地址作为源IP将报文发给下游组件。

S14：在所述网元节点正常运行的情况下，所述交换机根据所述网元节点发布的第二路由，将所述下游组件发送的响应数据发送至所述网元节点中。

本实施例中，在网元节点正常运行的情况下，交换机根据网元节点上的BGP单元发布的第二路由，将下游组件发送的响应数据发送至该网元节点中。

S15：在所述网元节点运行异常的情况下，所述交换机根据所述网元节点发布的第三路由，将所述下游组件发送的所述响应数据发送至所述网元集群中的其余网元节点中。

本实施例中，在网元节点运行异常的情况下，交换机根据网元节点的BGP单元发送的第三路由，将下游组件发送的响应数据发送至网元集群的其余网元节点中。

S16：所述网元集群通过所述交换机将所述响应数据发送至所述上游组件。

本实施例中，网元集群中的网元节点接收到响应数据后，将响应数据发送至交换机，又交换机发送至上游组件中。

本实施例中，交换机模块与网元BGP模块建立BGP邻居，通过BGP协议接收来自网元的路由条目，并根据多个网元发布的路由条目汇总形成路由表，其中VIP地址作为目的地址的路由因为集群内各网元发布的AS PATH一致，生成ECMP等价路由，配置ECMP按照报文的五元组（源IP、目的IP、源端口、目的端口、协议）进行流量哈希，即将流量数据转化为哈希值，上游组件发往VIP的流量将负载均衡地发给集群内的网元。BIP地址的路由因为AS PATH长度不一致，形成不等价的多条优先级不同的路由，发往BIP的报文将优先发给BIP的原归属节点。交换机BGP配置为启用心跳机制，心跳间隔可以自行设置，例如3秒，连续3次心跳超时判断为异常，次数也可以自行设置，当节点故障时，BGP邻居将心跳超时自动异常断开，该邻居（网元）发布的BGP路由自动撤销，交换机将发往VIP、BIP的报文根据剩余路由发给集群内其他节点。数据转发模块通过物理网卡收到目的IP为BIP地址的VXLAN数据包，判断为下游组件发来的回包，根据会话进行VXLAN内层报文的SNAT/DNAT等报文转发操作，使用本网元节点的VIP地址作为源IP将报文发回给上游组件，完成一次完整的数据收发。

参考图4，图4是本申请一实施例提出的路由条目示意图，如图4所示，每个网元节点发布一条不带AS PATH的VIP地址路由，发布三条BIP地址路由，其中本节点的BIP路由不带AS PATH，集群其他节点的BIP携带AS PATH。

参考图5，图5是本申请一实施例提出的正常流量转发示意图，如图5所示，图4中有三个网元节点，当集群中各网元正常时，交换机将来自上游组件，目的IP为网元集群VIP的流量负载均衡地转发给每个网元，每个网元约承载1/3的总流量，网元处理报文后使用BIP将报文发给下游组件，下游组件回复的报文目的IP为各网元的BIP，交换机按照路由的优先级将回复报文送回到对应网元节点。

参考图6，图6是本申请一实施例提出的异常流量转发示意图，如图6所示，假设网元节点1故障，网元节点1发布的高优先级BIP1 BGP路由自动撤销后，网元2和网元3还是保持发布网元1的BIP地址路由，交换机将之前下游组件发到网元1的流量切换发到集群的网元2和网元3节点，因为网元1的数据转发模块已经将会话同步到网元2和网元3，因此网元2和3能够根据网元1故障前同步的会话进行转发，实现故障场景的接近无损高可用切换，仅网元1已建立但未同步的极少数会话（取决于会话同步数量和时间配置）会因未及时同步导致会话缺失需要重新建立。

在本申请的另一个实施例中，在所述所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中之前，所述方法还包括：

S21：所述网元节点的控制器单元从管理服务器中获取网元配置数据，所述网元配置数据包括网元主机名称、网元集群标识、所述虚拟地址、互联地址、网元节点地址、网元转发规则。

本实施例中，网元节点的控制器单元从管理服务器的网元配置数据库模块中获取网元配置数据，网元配置数据包括网元主机名称、网元集群标识（用于标识网元节点所在的集群），网元集群的虚拟地址，互联地址、网元节点地址（BIP）、网元转发规则。

本实施例中，网元配置数据库模块部署于管理服务器节点，存储内容为网元主机名、网元所属的集群、网元所属集群的VIP地址、网元主机的互联IP地址、网元主机的BIP地址、网元的转发配置，数据库模块使用三节点集群部署，确保网元配置的可靠储存。网元配置数据在网元集群部署时进行规划和写入，IP分配原则为一个网元集群分配一个VIP地址供所有网元共用，VIP地址作为上游组件发送流量到该网元集群时使用的目的IP；网元主机互联IP地址为每个网元分配一个，与网元的上联交换机二层互联；网元主机的BIP地址为每个网元分配一个，作为下游组件回复流量时使用的目的IP。

S22：所述控制器单元将所述网元转发规则、所述虚拟地址、所述互联地址以及所述网元节点地址发送至所述网元节点的数据转发单元。

本实施例中，网元控制器单元将网元转发规则、虚拟地址、互联地址以及网元节点地址发送至网元节点的数据转发单元。

S23：所述控制器单元将所述虚拟地址以及所述网元地址发送至所述网元节点中的BGP单元。

本实施例中，网元控制器单元将虚拟地址以及网元地址发送至网元节点中的BGP单元。

本实施例中，网元控制器模块部署于网元节点，使用通用服务器作为网元节点。网元控制器模块连接网元配置数据库拉取配置信息，将转发规则、本集群互联IP、VIP地址和BIP地址下发给数据转发模块，将VIP和BIP地址下发给BGP模块，并定时检查数据转发模块和BGP模块的配置是否与网元配置数据库的配置一致。当数据转发模块配置不一致时，自动根据数据库配置更新数据转发模块配置；当数据转发模块配置异常且配置无法下发时，网元控制器记录告警异常，并调用BGP模块取消本网元发布的所有路由，避免交换机将流量发往该异常网元，避免转发配置不正确造成异常丢包。

本实施例中，所述方法还包括：

S24：所述网元控制器单元向所述BGP单元发送路由条目发送指令。

本实施例中，路由条目发送指令用于通知BGP单元需要发送的路由条目有哪些。

本实施例中，网元控制器单元向BGP单元发送路由条目发送指令。

S25：所述BGP单元根据所述路由条目发送指令，获取对应的路由，所述路由包括目的地址、下一跳地址、AS PATH信息。

本实施例中，‌AS path‌是BGP（Border Gateway Protocol）路由协议中的一个重要属性，主要用于记录路由在AS（自治系统）之间的传递路径，确保路由的传递过程中不会形成环路，并且用于路由的优选。

本实施例中，BGP单元根据路由条目发送指令，获取对应的路由，路由包括了目的地址、下一跳地址、AS PATH信息。

本实施例中，所述BGP单元通过所述数据转发单元，将所述路由发送至所述交换机中，包括：

S25-1：所述BGP单元通过所述数据转发单元，将所述第一路由发送至所述交换机中，所述第一路由对应的目的地址为所述虚拟地址，所述第一路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

S25-2：所述BGP单元通过所述数据转发单元，将所述第二路由发送至所述交换机中，所述第二路由对应的目的地址为所述网元节点的网元节点地址，所述第二路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

S25-3：所述BGP单元通过所述数据转发单元，将所述第三路由发送至所述交换机中，所述第三路由对应的目的地址为所述网元集群中除了所述BGP单元所在的网元节点之外的所有的网元节点的网元节点地址，所述第三路由对应的下一跳地址为所述互联地址，所述第三路由对应的所述AS PATH信息为所述网元节点的AS号。

本实施例中，BGP模块实现BGP协议，为控制器提供操作BGP路由条目的接口，由控制器将所需发布的路由条目下发给BGP模块，其中每条路由条目包括目的地址、下一跳地址、AS PATH信息。BGP模块根据网元控制器模块的指令，发布三种路由：1.下发一条VIP路由，目的地址为网元集群VIP地址，下一跳地址为本网元的互联IP地址，AS PATH为空；2.下发一条BIP路由，目的地址为本网元节点的BIP地址，下一跳地址为本网元的互联IP地址；3.下发（本集群网元个数-1）条BIP路由，目的地址为除本节点BIP外，本集群其他网元的BIP地址，下一跳地址为本网元的互联IP地址，AS PATH为15个本节点的AS号（可根据物理网络拓扑进行调整），AS PATH代表到达此目的地址的路径，此处AS PATH相对BIP原节点的AS PATH长，因此交换机在选择路由下一跳时会优先选择AS PATH短的路径，即通过本节点BIP发送的流量回包会优先回到本节点，只有当本节点故障后，BIP的流量才会负载均衡地发给本集群其他网元节点。BGP模块通过数据转发模块提供的虚拟接口网卡，与交换机模块使用网元的互联IP地址按照预先配置的BGP peer信息建立BGP邻居，使用BGP协议将路由信息传递给交换机模块。

S26：所述BGP单元通过所述数据转发单元，将所述路由发送至所述交换机中。

本实施例中，BGP单元通过数据转发单元，将对应的路由发送至交换机中。

在本申请的另一个实施例中，所述方法还包括：

S31：所述网元集群根据每个所述网元节点对应的所述互联地址，建立每个所述网元节点之间的同步会话。

本实施例中，网元集群中的每个网元节点之间根据互联地址建立同步会话，该同步会话可以使得每个网元节点之间进行数据传输，保持数据的同步。

S32：通过所述同步会话，对每个所述网元节点中的数据流量的会话信息进行同步。

本实施例中，每个网元节点通过同步会话，定时向集群中的其余节点中同步各自的数据流量的会话信息，进而保证一个网元节点出现故障时，其余网元节点可以继续执行该网元节点的数据处理任务。

本实施例中，本集群内的多个数据转发模块使用本节点的互联IP地址，构建会话同步报文，进行集群内多个网元节点间的会话同步，同步包括VXLAN报文内的源IP、目的IP、源端口、目的端口、协议等，会话同步配置为每3秒或每新建100个会话发送一次同步报文，该配置可根据实际流量场景进行调整，实现会话将在秒级周期内同步给本集群的其他网元，此会话同步仅当会话建立后本网元故障时需要，故障时会话通常已经建立并且同步到每个网元，因此会话不要求保证集群内的强一致，新建会话不会因等待会话同步而影响新建会话性能。

在本申请的另一个实施例中，在所述网元节点正常运行的情况下，所述交换机根据所述网元节点发布的第二路由，将所述下游组件发送的响应数据发送至所述网元节点中之前，所述方法还包括：

S41：所述交换机接收所述网元节点上的BGP单元发送的心跳信息。

本实施例中，交换机上的BGP单元接收网元节点上的BGP单元发送的心跳信息。

S42：在所述交换机正常接收所述心跳信息的情况下，确定所述网元节点正常运行。

S43：在所述交换机无法正常接收所述心跳信息的情况下，确定所述网元节点运行异常。

本实施例中，在交换机正常接收心跳信息的情况下，确定网元节点正常运行，在交换机无法正常接收心跳信息的情况下，确定网元节点运行异常。

本实施例中，所述方法还包括：

S44：在确定所述网元节点运行异常的情况下，所述交换机断开与所述网元节点的连接。

S45：将所述网元节点发送的路由信息删除。

本实施例中，在确定网元节点运行异常的情况下，交换机断开与网元节点的连接，并将网元节点发送的路由信息，包括虚拟地址以及网元节点地址删除。

本实施例中，数据转发模块为BGP模块创建虚拟接口网卡，建立BGP模块与交换机模块之间的虚拟链路，该链路将BGP模块发出的报文通过物理网卡转发给交换机模块，将交换机模块发到物理网卡的BGP报文送达虚拟接口由BGP模块接收。虚拟接口由数据转发模块实现，因此当数据转发模块异常故障无法转发流量时，BGP的报文也将无法转发，交换机模块将可识别到BGP心跳报文超时，判断该网元节点异常，自动删除该故障网元发布的VIP和BIP地址路由，实现故障的自动切换，不依赖于外部组件对网元状态进行探测和检查。

在本申请的另一个实施例中，提出了一种高可用负载均衡的NAT网元集群，包括：

搭建三节点的MySQL Gelara数据库集群作为网元配置数据库，数据库中包括三张表，host表存储网元的主机名、互联IP地址、BIP地址、所属的网元集群ID，cluster表存储网元集群的ID、名称、VIP地址、类型，nat_rule表存储网元的NAT转发规则，包括NAT类型、源IP、目的IP、端口号等。

基于Go编程语言实现网元控制器，网元控制器部署于每个网元节点，连接到数据库集群读取网元配置数据，使用本地socket连接数据转发模块，下发转发规则和IP地址信息，使用本地socket连接作为BGP模块的开源gobgpd程序，下发VIP和BIP的路由条目。gobgpd配置中按照网络规划配置上联交换机为BGP的对端，作为发布路由的对象。数据转发模块基于C语言和DPDK（Data Plane Development Kit，数据平面开发套件）框架开发，实现接收目的IP为VIP和BIP的数据包，对VXLAN数据包进行解析，VXLAN内层数据包按NAT转发规则进行SNAT和DNAT。交换机模块选择为支持标准EBGP协议的盒式交换机，规划VIP和BIP的地址段供上下游通信使用，规划互联IP地址实现网元互联IP和交换机虚拟接口互通，配置使能BGP接收来自BGP模块的路由，配置启用ECMP功能按照五元组进行等价路由的负载均衡数据包转发。部署三个网元节点实现高可用和负载均衡，后续根据网元节点的网卡流量监控来适时进行节点的横向扩缩容，以支持后续不同大小的吞吐量需求。

本申请上述实施例中，通过网元配置数据库单元规划并存储互联地址、虚拟地址以及网元地址，由控制器控制BGP发布VIP和BIP的方式，数据转发单元接收VIP的请求，进行数据处理，使用BIP发送数据给后端，实现后端回复数据回复至原网元节点，实现了有状态网元的负载均衡部署，并且支持横向拓展，支持大吞吐量的网络需求。并且使用带有ASPATH的BIP路由优先级发布和网元转发单元会话同步，实现了当集群中一个网元故障后，网元上承载的流量和存量会话可以自动切换到集群其他的网元节点中，使得业务不会中断，实现了网元的高可用，提升了网络服务的质量，并不要求强一致的同步，不因为会话同步影响网元新建会话的性能。基于数据转发单元生成虚拟接口网卡，作为BGP单元与交换机BGP单元之间的链路，数据转发单元发生故障时，BGP链路自动断开，实现网元转发故障的自动切换，不依赖于外部组件，且切换准确度高。通过上述方式实现了网元负载均衡的同时，保证了网元的高可用性，提升了数据转发的准确度。

基于同一发明构思，本申请一实施例提供一种网元负载均衡装置。参考图7，图7是本申请一实施例提出的网元负载均衡装置700的示意图。如图7所示，该装置包括：

数据接收模块701，用于交换机接收上游组件发送的流量数据；

第一数据发送模块702，用于所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中；

第二数据发送模块703，用于所述网元节点通过所述交换机，将处理后的所述流量数据发送至下游组件中；

第三数据发送模块704，用于在所述网元节点正常运行的情况下，所述交换机根据所述网元节点发布的第二路由，将所述下游组件发送的响应数据发送至所述网元节点中；

第四数据发送模块705，用于在所述网元节点运行异常的情况下，所述交换机根据所述网元节点发布的第三路由，将所述下游组件发送的所述响应数据发送至所述网元集群中的其余网元节点中；

第五数据发送模块706，用于所述网元集群通过所述交换机将所述响应数据发送至所述上游组件。

可选地，所述装置还包括：

配置数据获取模块，用于所述网元节点的控制器单元从管理服务器中获取网元配置数据，所述网元配置数据包括网元主机名称、网元集群标识、所述虚拟地址、互联地址、网元节点地址、网元转发规则；

第一配置数据发送模块，用于所述控制器单元将所述网元转发规则、所述虚拟地址、所述互联地址以及所述网元节点地址发送至所述网元节点的数据转发单元；

第二配置数据发送模块，用于所述控制器单元将所述虚拟地址以及所述网元地址发送至所述网元节点中的BGP单元。

可选地，所述装置还包括：

指令发送模块，用于所述网元控制器单元向所述BGP单元发送路由条目发送指令；

路由获取模块，用于所述BGP单元根据所述路由条目发送指令，获取对应的路由，所述路由包括目的地址、下一跳地址、AS PATH信息；

路由发送模块，用于所述BGP单元通过所述数据转发单元，将所述路由发送至所述交换机中。

可选地，所述路由发送模块包括：

第一路由发送子模块，用于所述BGP单元通过所述数据转发单元，将所述第一路由发送至所述交换机中，所述第一路由对应的目的地址为所述虚拟地址，所述第一路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

第二路由发送子模块，用于所述BGP单元通过所述数据转发单元，将所述第二路由发送至所述交换机中，所述第二路由对应的目的地址为所述网元节点的网元节点地址，所述第二路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

第三路由发送子模块，用于所述BGP单元通过所述数据转发单元，将所述第三路由发送至所述交换机中，所述第三路由对应的目的地址为所述网元集群中除了所述BGP单元所在的网元节点之外的所有的网元节点的网元节点地址，所述第三路由对应的下一跳地址为所述互联地址，所述第三路由对应的所述AS PATH信息为所述网元节点的AS号。

可选地，所述装置还包括：

会话同步模块，用于所述网元集群根据每个所述网元节点对应的所述互联地址，建立每个所述网元节点之间的同步会话；

信息同步模块，用于通过所述同步会话，对每个所述网元节点中的数据流量的会话信息进行同步。

可选地，所述装置还包括：

心跳信息接收模块，用于所述交换机接收所述网元节点上的BGP单元发送的心跳信息；

第一状态确定模块，用于在所述交换机正常接收所述心跳信息的情况下，确定所述网元节点正常运行；

第二状态确定模块，用于在所述交换机无法正常接收所述心跳信息的情况下，确定所述网元节点运行异常。

可选地，所述装置还包括：

连接断开模块，用于在确定所述网元节点运行异常的情况下，所述交换机断开与所述网元节点的连接；

信息删除模块，用于将所述网元节点发送的路由信息删除。

基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的网元负载均衡方法中的步骤。

基于同一发明构思，本申请另一实施例提供一种电子设备，图8是本申请一实施例提出的电子设备800的示意图，包括存储器802、处理器801及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的网元负载均衡方法中的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的网元负载均衡方法、装置、设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种网元负载均衡方法，其特征在于，所述方法包括：

交换机接收上游组件发送的流量数据；

所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中；

所述网元节点通过所述交换机，将处理后的所述流量数据发送至下游组件中；

在所述网元节点正常运行的情况下，所述交换机根据所述网元节点发布的第二路由，将所述下游组件发送的响应数据发送至所述网元节点中；

在所述网元节点运行异常的情况下，所述交换机根据所述网元节点发布的第三路由，将所述下游组件发送的所述响应数据发送至所述网元集群中的其余网元节点中；

所述网元集群通过所述交换机将所述响应数据发送至所述上游组件；

在所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中之前，所述方法还包括：

所述网元节点的控制器单元从管理服务器中获取网元配置数据，所述网元配置数据包括网元主机名称、网元集群标识、虚拟地址、互联地址、网元节点地址、网元转发规则；

所述控制器单元将所述网元转发规则、所述虚拟地址、所述互联地址以及所述网元节点地址发送至所述网元节点的数据转发单元；

所述控制器单元将所述虚拟地址以及所述网元地址发送至所述网元节点中的BGP单元；

所述方法还包括：

所述网元控制器单元向所述BGP单元发送路由条目发送指令；

所述BGP单元根据所述路由条目发送指令，获取对应的路由，所述路由包括目的地址、下一跳地址、AS PATH信息；

所述BGP单元通过所述数据转发单元，将所述路由发送至所述交换机中；

所述BGP单元通过所述数据转发单元，将所述路由发送至所述交换机中，包括：

所述BGP单元通过所述数据转发单元，将所述第一路由发送至所述交换机中，所述第一路由对应的目的地址为所述虚拟地址，所述第一路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

所述BGP单元通过所述数据转发单元，将所述第二路由发送至所述交换机中，所述第二路由对应的目的地址为所述网元节点的网元节点地址，所述第二路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

所述BGP单元通过所述数据转发单元，将所述第三路由发送至所述交换机中，所述第三路由对应的目的地址为所述网元集群中除了所述BGP单元所在的网元节点之外的所有的网元节点的网元节点地址，所述第三路由对应的下一跳地址为所述互联地址，所述第三路由对应的所述AS PATH信息为所述网元节点的AS号。

2.根据权利要求1所述的网元负载均衡方法，其特征在于，所述方法还包括：

所述网元集群根据每个所述网元节点对应的所述互联地址，建立每个所述网元节点之间的同步会话；

通过所述同步会话，对每个所述网元节点中的数据流量的会话信息进行同步。

3.根据权利要求1所述的网元负载均衡方法，其特征在于，在所述网元节点正常运行的情况下，所述交换机根据所述网元节点发布的第二路由，将所述下游组件发送的响应数据发送至所述网元节点中之前，所述方法还包括：

所述交换机接收所述网元节点上的BGP单元发送的心跳信息；

在所述交换机正常接收所述心跳信息的情况下，确定所述网元节点正常运行；

在所述交换机无法正常接收所述心跳信息的情况下，确定所述网元节点运行异常。

4.根据权利要求3所述的网元负载均衡方法，其特征在于，所述方法还包括：

在确定所述网元节点运行异常的情况下，所述交换机断开与所述网元节点的连接；

将所述网元节点发送的路由信息删除。

5.一种网元负载均衡装置，其特征在于，所述装置包括：

数据接收模块，用于交换机接收上游组件发送的流量数据；

第一数据发送模块，用于所述交换机根据网元集群中的至少一个网元节点发布的第一路由，将所述流量数据负载均衡的发送到至少一个所述网元节点中；

第二数据发送模块，用于所述网元节点通过所述交换机，将处理后的所述流量数据发送至下游组件中；

第三数据发送模块，用于在所述网元节点正常运行的情况下，所述交换机根据所述网元节点发布的第二路由，将所述下游组件发送的响应数据发送至所述网元节点中；

第四数据发送模块，用于在所述网元节点运行异常的情况下，所述交换机根据所述网元节点发布的第三路由，将所述下游组件发送的所述响应数据发送至所述网元集群中的其余网元节点中；

第五数据发送模块，用于所述网元集群通过所述交换机将所述响应数据发送至所述上游组件；

所述装置还包括：

配置数据获取模块，用于所述网元节点的控制器单元从管理服务器中获取网元配置数据，所述网元配置数据包括网元主机名称、网元集群标识、虚拟地址、互联地址、网元节点地址、网元转发规则；

第一配置数据发送模块，用于所述控制器单元将所述网元转发规则、所述虚拟地址、所述互联地址以及所述网元节点地址发送至所述网元节点的数据转发单元；

第二配置数据发送模块，用于所述控制器单元将所述虚拟地址以及所述网元地址发送至所述网元节点中的BGP单元；

指令发送模块，用于所述网元控制器单元向所述BGP单元发送路由条目发送指令；

路由获取模块，用于所述BGP单元根据所述路由条目发送指令，获取对应的路由，所述路由包括目的地址、下一跳地址、AS PATH信息；

路由发送模块，用于所述BGP单元通过所述数据转发单元，将所述路由发送至所述交换机中；

所述路由发送模块包括：

第一路由发送子模块，用于所述BGP单元通过所述数据转发单元，将所述第一路由发送至所述交换机中，所述第一路由对应的目的地址为虚拟地址，所述第一路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

第二路由发送子模块，用于所述BGP单元通过所述数据转发单元，将所述第二路由发送至所述交换机中，所述第二路由对应的目的地址为所述网元节点的网元节点地址，所述第二路由对应的下一跳地址为所述互联地址，所述AS PATH信息为空；

第三路由发送子模块，用于所述BGP单元通过所述数据转发单元，将所述第三路由发送至所述交换机中，所述第三路由对应的目的地址为所述网元集群中除了所述BGP单元所在的网元节点之外的所有的网元节点的网元节点地址，所述第三路由对应的下一跳地址为所述互联地址，所述第三路由对应的所述AS PATH信息为所述网元节点的AS号。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至4任一所述的方法中的步骤。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至4任一所述的方法的步骤。