CN117812080A - 一种报文转发方法、系统及负载均衡系统 - Google Patents

Abstract

本发明提供了一种报文转发方法、系统及负载均衡系统，其中方法包括：获取多主板设备中各个主板的CPU占用率，并将其中CPU占用率最低的主板作为接收报文信息的目标主板；所述各个主板上部署有基于DPDK的第一容器和第二容器；第一容器用于执行报文信息分配，第二容器用于执行报文信息处理；控制所述目标主板的第一容器接收客户端发送的待传输的报文信息，并基于预设的负载均衡策略，将报文信息分配至各个主板的第二容器中；控制各个第二容器对分配的报文信息进行处理。本发明采用高性能网络组件DPDK充分利用CPU处理器的能力来实现高效的网络报文转发处理，具有高吞吐量和低延迟的特点，满足高并发的网络传输需求。

Description

一种报文转发方法、系统及负载均衡系统

技术领域

本发明属于计算机网络通信技术领域，更具体地，涉及一种报文转发方法、系统及负载均衡系统。

背景技术

随着计算机技术的不断发展，各类网卡性能飞速提升，使用Linux内核处理网络数据包的性能较差已经成为现代网络系统的瓶颈。大容量、高并发的网络传输需求的不断增长，需要更高性能的网络处理解决方案。

目前的负载均衡策略，如LVS、NGINX等均是基于内核态实现的，由于用户态和内核态的隔离，导致在用户态的高性能协议栈往往需要通过KNI模块链接到内核态才能实现负载均衡和主从备份，这样数据流就从用户态到内核态再到用户态，表面上实现了负载均衡，但增加了内核态和用户态数据拷贝的额外开销，浪费系统资源，不能满足高并发的网络传输需求。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种报文转发方法、系统及负载均衡系统，旨在解决现有的负载均衡方法无法满足高并发的网络传输需求的问题。

为实现上述目的，第一方面，本发明提供了一种报文转发方法，所述方法应用于与客户端连接的多主板设备，所述方法包括以下步骤：

步骤S101，获取多主板设备中各个主板的CPU占用率，并将其中CPU占用率最低的主板作为接收报文信息的目标主板；所述各个主板上部署有基于DPDK的第一容器和第二容器；第一容器用于执行报文信息分配，第二容器用于执行报文信息处理；

步骤S102，控制所述目标主板的第一容器接收客户端发送的待传输的报文信息，并基于预设的负载均衡策略，将报文信息分配至各个主板的第二容器中；

步骤S103，控制各个第二容器对分配的报文信息进行处理。

在一个可选的示例中，步骤S101之后还包括：

每隔预设时长，获取所述目标主板的CPU占用率；

若所述目标主板的CPU占用率超过预设阈值且在各个主板中CPU占用率中最高，则将CPU占用率最低的主板作为下一次接收报文信息的目标主板。

在一个可选的示例中，所述方法还包括：

若检测到任一主板的第一容器通信中断，则重启所述任一主板，若重启超过预设次数仍无法建立通信，则将所述任一主板的CPU占用率置一。

在一个可选的示例中，所述方法还包括：

若检测到任一主板的第二容器通信中断，则重启所述任一主板，若重启超过预设次数仍无法建立通信，则从各个主板的负载均衡策略中剔除所述任一主板的第二容器对应的节点。

在一个可选的示例中，所述各个主板的CPU占用率具体通过各个主板的第一容器间进行组播通讯获取得到。

第二方面，本发明提供了一种报文转发系统，所述系统应用于与客户端连接的多主板设备，所述系统包括：

主板选择模块，用于多主板设备中各个主板的CPU占用率，并将其中CPU占用率最低的主板作为接收报文信息的目标主板；所述各个主板上部署有基于DPDK的第一容器和第二容器；第一容器用于执行报文信息分配，第二容器用于执行报文信息处理；

报文分配模块，用于控制所述目标主板的第一容器接收客户端发送的待传输的报文信息，并基于预设的负载均衡策略，将报文信息分配至各个主板的第二容器中；

报文处理模块，用于控制各个第二容器对分配的报文信息进行处理。

在一个可选的示例中，所述系统还包括主板切换模块，用于：

每隔预设时长，获取所述目标主板的CPU占用率；

若所述目标主板的CPU占用率超过预设阈值且在各个主板中CPU占用率中最高，则将CPU占用率最低的主板作为下一次接收报文信息的目标主板。

在一个可选的示例中，所述系统还包括主板去除模块，用于：

若检测到任一主板的第一容器通信中断，则重启所述任一主板，若重启超过预设次数仍无法建立通信，则将所述任一主板的CPU占用率置一。

在一个可选的示例中，所述系统还包括策略更新模块，用于：

若检测到任一主板的第二容器通信中断，则重启所述任一主板，若重启超过预设次数仍无法建立通信，则从各个主板的负载均衡策略中剔除所述任一主板的第二容器对应的节点。

第三方面，本发明提供了一种负载均衡系统，包括如第二方面所述的多主板设备，以及应用于所述多主板设备的报文转发系统。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明提供一种报文转发方法、系统及负载均衡系统，通过在多主板架构上，采用容器的方法在每一块主板上启动两套DPDK应用，一套容器来执行负载均衡策略以实现报文信息分配，另一套容器来实现报文信息处理，并且依据CPU占用率来选择最优的主板进行报文信息转发，从而成功规避了传统内核网络协议栈频繁中断以及内核态和用户态数据拷贝的额外开销，采用高性能网络组件DPDK充分利用CPU处理器的能力来实现高效的网络报文转发处理，具有高吞吐量和低延迟的特点，满足高并发的网络传输需求。

附图说明

图1是本发明实施例提供的报文转发方法的流程示意图；

图2是本发明实施例提供的负载均衡系统的架构图之一；

图3是本发明实施例提供的报文转发系统的架构图；

图4是本发明实施例提供的负载均衡系统的架构图之二。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

内核旁路技术，如Intel等多家公司开发的高性能网络组件DPDK(Data PlaneDevelopment Kit)技术，引起了越来越多的关注，内核旁路的核心思想是Linux内核态只用于处理控制流，所有数据包的处理都在上层用户空间完成。因此，内核旁路技术可以避免内核包复制、线程调度、系统调用和中断造成的性能瓶颈，提升网络转发性能。

目前典型的服务器集群系统都是前端负载均衡器搭配后端真实服务器的模式，通过前端负载均衡器的负载均衡算法来实现后端服务器负载流量的分配。在此种负载均衡模式中，所有的网络流量都要通过前端负载均衡器转发，要消耗大量的内存和CPU资源，大量的网络连接也使得前端成为整个系统网络性能提升的瓶颈。

针对现有技术存在的问题，本发明旨在基于DPDK技术，提供一种基于用户态的高性能网络转发的负载均衡方法及系统，能够将多块主板集合成一个高性能、高可用的负载均衡系统且可承担用户态UDP/TCP数据转发处理的功能，为用户提供一套高可靠、可扩展的应用架构。

本发明提供一种报文转发方法，所述方法应用于与客户端连接的多主板设备。图1是本发明实施例提供的报文转发方法的流程示意图，如图1所示，该方法包括以下步骤：

步骤S101，获取多主板设备中各个主板的CPU占用率，并将其中CPU占用率最低的主板作为接收报文信息的目标主板；所述各个主板上部署有基于DPDK的第一容器和第二容器；第一容器用于执行报文信息分配，第二容器用于执行报文信息处理；

步骤S102，控制所述目标主板的第一容器接收客户端发送的待传输的报文信息，并基于第一容器中预设的负载均衡策略，将报文信息分配至各个主板的第二容器中；

步骤S103，控制各个第二容器对分配的报文信息进行处理。

需要说明的是，每个主板的两个容器都是基于DPDK框架，但是上层协议栈接口不一样，可以实现不同的功能；在DPDK的上层移植Keepalive和lvs算法，然后选择合适的负载均衡策略建立报文信息转发规则，即可实现执行报文信息分配的第一容器即负载均衡容器；DPDK本身并不包含TCP/UDP协议栈，在DPDK的上层移植TCP/UDP网络协议栈，然后选择合适的收发策略来处理报文信息，即可实现执行报文信息处理的第二容器即数据处理容器。

通常的前端负载均衡器不具有数据处理功能，且只有一个主板，当客户端请求量很大时，所有的网络流量都只能从这个主板转发，很容易出现网络堵塞的问题。而本发明中负载均衡系统包含多个主板，且采用容器的方法在同一块主板(同一套操作系统)上启动两套DPDK应用，通过定制化地开发，一套容器来实现负载均衡策略，一套容器来实现用户态的TCP/UDP数据处理，采用容器既能实现两套DPDK应用网络的隔离，又最大化地利用了主板的性能，从而实现高吞吐量和低延迟的数据转发。

并且，采用容器在两个高性能网络协议栈的上层分别封装了负载均衡算法和TCP/UDP通讯协议常用的Socket接口，使得用户无需修改应用即可实现更高性能的网络配置和转发。同时实现了“去前端化”，外部客户端发送来的请求数据依据CPU实时处理性能制定合适的择优策略，在选择了最优的负载均衡容器之后，再根据负载均衡策略将报文信息可以均分到后续的数据处理容器中，使得每个模块单体性能都能得到保证。

可以理解的是，本发明实施例对负载均衡策略不作具体限定，例如，负载均衡策略为轮询策略，可以将报文信息依次分配到各个主板的第二容器中，又例如，负载均衡策略为最少链接策略，每次在分配报文信息时，可以将报文信息分配到eth3链接数最少的第二容器中。第二容器可以根据报文的需求，进行直接处理并显示，也可以通过转发给后端服务端进行处理，本发明实施例对此也不作具体限定。

本发明实施例提供的方法，通过在多主板架构上，采用容器的方法在每一块主板上启动两套DPDK应用，一套容器来执行负载均衡策略以实现报文信息分配，另一套容器来实现报文信息处理，并且依据CPU占用率来选择最优的主板进行报文信息转发，从而成功规避了传统内核网络协议栈频繁中断以及内核态和用户态数据拷贝的额外开销，采用高性能网络组件DPDK充分利用CPU处理器的能力来实现高效的网络报文转发处理，具有高吞吐量和低延迟的特点，满足高并发的网络传输需求。

基于上述实施例，步骤S101之后还包括：

每隔预设时长，获取所述目标主板的CPU占用率；

若所述目标主板的CPU占用率超过预设阈值且在各个主板中CPU占用率中最高，则将CPU占用率最低的主板作为下一次接收报文信息的目标主板。

具体地，某一时刻，只有某一主板即高性能板卡的负载均衡容器工作。为了避免接收报文信息的主板过度切换，浪费系统资源，本发明实施例可以设置只在启动时将CPU占用率最低的主板作为接收报文信息的目标主板，后续每隔预设时长，判断一次该目标主板的CPU占用率。若随着时间推移、流量负载变大，CPU占用率变高(大于某一阈值且系统中最高)，通过多板卡容器间数据通信，确定新的CPU占用率最低的主板作为下一次接收报文信息的目标主板，新的目标主板就会向客户端进行响应，客户端新请求的报文信息则就会链接到新的目标主板的负载均衡容器工作。

可以理解的是，若目标主板的CPU占用率不超过预设阈值，则说明其性能还能完全满足转发的需求，无需进行主板切换。

本发明实施例提供的方法，在当前负载均衡容器所在板卡CPU占用率大于某一阈值且在系统中最高时，将负载均衡工作容器进行切换，保证各板卡使用CPU效率最高，避免了前端流量爆炸的瓶颈。

基于上述任一实施例，所述方法还包括：

若检测到任一主板的第一容器通信中断，则重启该主板，若重启超过预设次数仍无法建立通信，则将该主板的CPU占用率置一。

需要说明的是，当通过组播通讯检测到任一主板的第一容器通信中断，则说明该主板的第一容器可能出现突发网络故障或系统挂起等情况，将自动执行重启脚本，如超过预设次数重启仍无效后，通过多板卡容器间数据通信，该主板的CPU占用率被置为一，将不再参与负载均衡策略的分配。

基于上述任一实施例，所述方法还包括：

若检测到任一主板的第二容器通信中断，则重启该主板，若重启超过预设次数仍无法建立通信，则从各个主板的负载均衡策略中剔除该主板的第二容器对应的节点，以使该第二容器不再接受任何报文信息。

基于上述任一实施例，各个主板的CPU占用率具体通过各个主板的第一容器间进行组播通讯获取得到，相互发报文确定状态，用以抉择某一主板(CPU占用率当前最低)执行负载均衡策略。

基于上述任一实施例，本发明实施例提供一种基于用户态的高性能网络转发的负载均衡系统。图2是本发明实施例提供的负载均衡系统的架构图之一，负载均衡系统设置于客户端与服务端之间，如图2所示，该系统通过如下方式进行部署：

1、在高性能板卡A上启动负载均衡容器DPVS-Docker：进入负载均衡容器终端，通过执行脚本依次配置高性能网络组件DPDK驱动、网卡eth0/eth1信息和大页内存；

2、执行负载均衡容器的负载均衡策略(在DPDK的上层移植Keepalive、lvs算法)，配置对外虚拟IP(eth0)和对内的本地IP(eth1)，然后选择合适的负载均衡算法建立报文信息转发规则；

3、在高性能板卡A上同步启动TCP/UDP数据处理容器Fstack-Docker：进入TCP/UDP数据收发容器终端，通过执行脚本依次配置高性能网络组件DPDK驱动、网卡eth2/eth3信息和大页内存；

4、执行TCP/UDP数据处理容器的报文处理应用(在DPDK的上层移植TCP/UDP网络协议栈)，配置报文接收IP(eth2)和报文发送IP(eth3)，然后选择合适的收发策略来处理报文信息；

5、在其他高性能板卡(如高性能板卡B、C)上同步执行步骤1至4的内容，保证所有高性能板卡均接入高性能网络转发的负载均衡系统。其中，各负载均衡容器内进行组播通讯，判断各自板卡的CPU使用率，用以抉择某一块板卡(CPU占用率当前最低)执行负载均衡策略。

如图2所示，客户端通过虚拟IP向高性能网络转发的负载均衡系统请求服务，报文信息会通过交换机到达某一高性能网络板卡(CPU择优算法选定)的负载均衡容器进行处理，负载均衡容器会执行预先设定的负载均衡算法，将报文信息流转到本机或网络系统中的多个数据处理容器中进行报文信息转发处理，若需要本机处理的数据可传至上层应用，或者将数据流转到后端服务器进行相应处理。一个网卡有四个网口，即eth0、eth1、eth2和eth3，eth0用于接收交换机转发的客户端的报文信息，eth1用于根据负载均衡策略分配后续的数据处理容器，数据处理容器的eth2和eth3分别用于报文接收和发送。负载均衡容器的Keepalive算法可以通过各容器间的eth0组播通信判断CPU占用率最低的主板，以及是否有负载均衡容器故障。负载均衡容器的lvs算法可以通过eth2节点来判断数据处理容器是否故障。

基于上述任一实施例，基于用户态的高性能网络转发的负载均衡方法具体如下：

S1、所有高性能板卡的负载均衡容器的第一个网口对客户端提供统一的虚拟IP，客户端通过虚拟IP将需传达的报文信息发送至某一高性能板卡(当前CPU利用率较低)的负载均衡容器；

S2、该负载均衡容器依据制定的负载均衡策略将报文信息转发至某一高性能板卡的TCP/UDP数据处理容器进行相应处理(包括但不限于将数据传给应用程序或转发给后端服务器处理)。

S3、某一时刻，只有某一高性能板卡的负载均衡容器工作，若随着时间推移、流量负载变大，CPU利用率变高(大于某一阈值且系统中最高)，通过多板卡容器间数据通信，客户端新请求的报文信息会链接到另一高性能板卡(当前CPU利用率最低)的负载均衡容器工作，后续报文流转方式跳至S2。

S4、当某一高性能板卡的负载均衡容器突发网络故障或系统挂起时，将自动执行重启脚本，如3次重启无效后，通过多板卡容器间数据通信，该板卡的CPU占用率被置为100％，将不再参与负载均衡策略的分配。

S5、当某一高性能板卡的TCP/UDP数据处理容器突发网络故障或系统挂起时，将自动执行重启脚本，如3次重启无效后，负载均衡容器的负载均衡策略会将自动将此数据收发节点剔除，不再接受任何报文信息。

S6、基于用户态的高性能网络转发的负载均衡系统，首先启动高性能负载均衡容器，然后通过用户态的相关命令来配置负载均衡策略，然后启动TCP/UDP数据收发容器接收前端转发的报文信息进行相应处理。最终可实现500000个包/秒的高吞吐量和不超过1ms的网络延迟。

优选地，本套基于用户态的高性能网络转发的负载均衡方法是在全国产化的平台上开发实现的，核心CPU是飞腾D2000，操作系统为Kylin V10，网卡为网讯1860网卡。

与现有技术相比，本发明通过软件的方式保证了一套负载均衡系统中多块高性能主板的一致性，每块高性能主板通过容器隔离负载均衡模块和数据处理模块、最大程度利用CPU性能；通过不同主板负载均衡容器间的CPU择优算法，避免了前端流量爆炸的性能瓶颈，为用户提供高性能、高可靠、可扩展的应用架构，本发明可基于全国产化的软硬件平台如飞腾麒麟、龙芯麒麟等，具备效率高、适用性广等特点。

基于上述任一实施例，本发明提供了一种报文转发系统，图3是本发明实施例提供的报文转发系统的架构图，如图3所示，该系统应用于客户端连接的多主板设备，该系统包括：

主板选择模块310，用于获取多主板设备中各个主板的CPU占用率，并将其中CPU占用率最低的主板作为接收报文信息的目标主板；所述各个主板上部署有基于DPDK的第一容器和第二容器；第一容器用于执行报文信息分配，第二容器用于执行报文信息处理；

报文分配模块320，用于控制所述目标主板的第一容器接收客户端发送的待传输的报文信息，并基于预设的负载均衡策略，将报文信息分配至各个主板的第二容器中；

报文处理模块330，用于控制各个第二容器对分配的报文信息进行处理。

可以理解的是，上述各个模块的详细功能实现可参见前述方法实施例中的介绍，在此不做赘述。

基于上述任一实施例，本发明提供了一种负载均衡系统，图4是本发明实施例提供的负载均衡系统的架构图之二，如图4所示，包括如上述实施例所述的多主板设备410，以及应用于所述多主板设备410的报文转发系统420。

另外，本发明实施例提供了另一种报文处理装置，其包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现上述实施例中的方法。

此外，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述实施例中的方法。

基于上述实施例中的方法，本发明实施例提供了一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述实施例中的方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种报文转发方法，其特征在于，所述方法应用于与客户端连接的多主板设备，所述方法包括以下步骤：

步骤S101，获取多主板设备中各个主板的CPU占用率，并将其中CPU占用率最低的主板作为接收报文信息的目标主板；所述各个主板上部署有基于DPDK的第一容器和第二容器；第一容器用于执行报文信息分配，第二容器用于执行报文信息处理；

步骤S102，控制所述目标主板的第一容器接收客户端发送的待传输的报文信息，并基于预设的负载均衡策略，将报文信息分配至各个主板的第二容器中；

步骤S103，控制各个第二容器对分配的报文信息进行处理。

2.根据权利要求1所述的报文转发方法，其特征在于，步骤S101之后还包括：

每隔预设时长，获取所述目标主板的CPU占用率；

若所述目标主板的CPU占用率超过预设阈值且在各个主板中CPU占用率中最高，则将CPU占用率最低的主板作为下一次接收报文信息的目标主板。

3.根据权利要求1所述的报文转发方法，其特征在于，还包括：

若检测到任一主板的第一容器通信中断，则重启所述任一主板，若重启超过预设次数仍无法建立通信，则将所述任一主板的CPU占用率置一。

4.根据权利要求1所述的报文转发方法，其特征在于，还包括：

若检测到任一主板的第二容器通信中断，则重启所述任一主板，若重启超过预设次数仍无法建立通信，则从各个主板的负载均衡策略中剔除所述任一主板的第二容器对应的节点。

5.根据权利要求1至4任一项所述的报文转发方法，其特征在于，所述各个主板的CPU占用率具体通过各个主板的第一容器间进行组播通讯获取得到。

6.一种报文转发系统，其特征在于，所述系统应用于与客户端连接的多主板设备，所述系统包括：

主板选择模块，用于多主板设备中各个主板的CPU占用率，并将其中CPU占用率最低的主板作为接收报文信息的目标主板；所述各个主板上部署有基于DPDK的第一容器和第二容器；第一容器用于执行报文信息分配，第二容器用于执行报文信息处理；

报文分配模块，用于控制所述目标主板的第一容器接收客户端发送的待传输的报文信息，并基于预设的负载均衡策略，将报文信息分配至各个主板的第二容器中；

报文处理模块，用于控制各个第二容器对分配的报文信息进行处理。

7.根据权利要求6所述的报文转发系统，其特征在于，还包括主板切换模块，用于：

每隔预设时长，获取所述目标主板的CPU占用率；

若所述目标主板的CPU占用率超过预设阈值且在各个主板中CPU占用率中最高，则将CPU占用率最低的主板作为下一次接收报文信息的目标主板。

8.根据权利要求6所述的报文转发系统，其特征在于，还包括主板去除模块，用于：

若检测到任一主板的第一容器通信中断，则重启所述任一主板，若重启超过预设次数仍无法建立通信，则将所述任一主板的CPU占用率置一。

9.根据权利要求6所述的报文转发系统，其特征在于，还包括策略更新模块，用于：

若检测到任一主板的第二容器通信中断，则重启所述任一主板，若重启超过预设次数仍无法建立通信，则从各个主板的负载均衡策略中剔除所述任一主板的第二容器对应的节点。

10.一种负载均衡系统，其特征在于，包括如权利要求6至9所述的多主板设备，以及应用于所述多主板设备的报文转发系统。