CN113691460B - 基于负载均衡的数据传输方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术和大数据领域，公开了一种基于负载均衡的数据传输方法、装置、设备及存储介质。该方法包括：获取第一客户端返回的响应数据包并提取对应的目标端地址；根据目标端地址，采用第一规则流表对响应数据包进行流匹配，以设置响应数据包对应的连接追踪项；根据连接追踪项设置响应数据包对应的内核地址并是否符合预置标识信息格式；若符合，则根据内核地址，采用预置第二规则流表对响应数据包进行流匹配，以设置响应数据包接收对应的目标通道地址；根据目标通道地址，将响应数据包经目标负载均衡服务器发送至对应的第二客户端。本发明实现了DNAT模式下，正确选择数据包回程的目标客户端或者负载均衡服务器。

Description

基于负载均衡的数据传输方法、装置、设备及存储介质

技术领域

本发明涉及大数据领域，尤其涉及一种基于负载均衡的数据传输方法、装置、设备及存储介质。

背景技术

L4LB(Level 4 Load Balance，四层负载均衡)网关在云网络中是必备组件，典型的应用是传统网络中的LVS(Linux Virtual Server，Linux虚拟服务器)；在金融云中使用DNAT(Destination Network Address Translation，目的地址转换)模式的负载均衡尤其重要，目的是为了让客户端IP可以透传给RS(Real Server，实服务)。

在使用DNAT模式时，客户端(Client)可以直接访问RS，也可以通过L4LB节点访问RS，在基于隧道模式的主机Overlay云网络条件下，RS可以区分数据包是来自客户端或者是L4LB节点；RS可以通过src_vtep(VTEP，VXLAN Tunnel End Point，虚拟扩展局域网通道端点)来识别数据包是来自于Client还是经过了L4LB。但是该模式的问题在于如何在回程包上区分并选择正确的目标客户端或者目标L4LB。

发明内容

本发明的主要目的在于解决现有DNAT模式下，数据回程包难以选择正确的目标客户端/负载均衡服务器的技术问题。

本发明第一方面提供了一种基于负载均衡的数据传输方法，包括：获取第一客户端返回的响应数据包，并提取所述响应数据包对应的目标端地址；根据所述目标端地址，采用预置第一规则流表对所述响应数据包进行流匹配，得到第一流匹配结果，并根据所述第一流匹配结果，设置所述响应数据包对应的连接追踪项；根据所述连接追踪项设置所述响应数据包对应的内核地址，并判断所述内核地址是否符合负载均衡服务器的预置标识信息格式；若符合，则根据所述内核地址，采用预置第二规则流表对所述响应数据包进行流匹配，得到第二流匹配结果，并根据所述第二流匹配结果，设置所述响应数据包接收对应的目标负载均衡服务器的目标通道地址；根据所述目标通道地址，将所述响应数据包发送至所述目标负载均衡服务器，并通过所述目标负载均衡服务器将所述响应数据包发送至对应的第二客户端。

可选的，在本发明第一方面的第一种实现方式中，所述根据所述目标端地址，采用预置第一规则流表对所述响应数据包进行流匹配，得到第一流匹配结果包括：将所述响应数据包发送至预置初始数据路径，并采用所述目标端地址遍历所述初始数据路径对应的预置第一规则流表，得到所述响应数据包对应流匹配的执行动作和初始流匹配结果；判断所述执行动作是否为数据包输出；若是，则将所述初始匹配结果作为第一流匹配结果并从所述初始数据路径输出；若否，则根据所述执行结果，将所述响应数据包发送至下一个数据路径，并在所述下一个数据路径中，采用所述目标端地址遍历所述下一个数据路径对应的第一规则流表，得到所述响应数据包对应流匹配的下一个执行动作和新的初始流匹配结果，直到所述下一个执行动作为数据包输出时停止对所述响应数据包的流匹配，将所述新的初始流匹配结果作为第一流匹配结果并从所述下一个数据路径输出。

可选的，在本发明第一方面的第二种实现方式中，所述根据所述第一流匹配结果，设置所述响应数据包对应的连接追踪项包括：根据所述第一流匹配结果，筛选所述响应数据包对应的连接追踪表，并在所述连接追踪表上预记录所述响应数据包的连接追踪项；采用预记录的连接追踪项，对所述响应数据包进行状态过滤，并根据状态过滤的结果，对所述连接追踪项进行确认；在所述连接追踪表上记录所述响应数据包对应的确认后的连接追踪项。

可选的，在本发明第一方面的第三种实现方式中，，在所述获取第一客户端返回的响应数据包，并提取所述响应数据包对应的目标端地址之前，还包：获取所述第二客户端上传的请求数据包，并提取所述请求数据包对应的源端通道地址；根据所述源端通道地址，判断所述请求数据包是否经过负载均衡服务器；若经过，则根据所述源端通道地址，调用预置第一钩子函数对所述请求数据包进行流匹配，得到所述请求数据包对应的内核地址，并将所述内核地址更新至所述第一规则流表；根据所述内核地址，调用预置第二钩子函数对所述请求数据包进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项；根据所述连接追踪项，将所述请求数据包发送至所述第一客户端。

可选的，在本发明第一方面的第四种实现方式中，所述根据所述内核地址，调用预置第二钩子函数对所述请求数据包进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项包括：提取所述响应数据包中的协议信息，并解析所述协议信息，多个协议字段；根据所述内核地址，调用对应的多个预置第二钩子函数，依次对对应的协议字段进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项。

可选的，在本发明第一方面的第五种实现方式中，在所述根据所述内核地址，调用预置第二钩子函数对所述请求数据包进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项之后，还包括：提取所述协议信息中的源端MAC地址，并采用所述源端通道地址替换所述源端MAC地址，得到新的协议信息；根据所述新的协议信息，对所述连接追踪项进行更新。

本发明第二方面提供了一种基于负载均衡的数据传输装置，包括：提取模块，用于获取第一客户端返回的响应数据包，并提取所述响应数据包对应的目标端地址；第一流匹配模块，用于根据所述目标端地址，采用预置第一规则流表对所述响应数据包进行流匹配，得到第一流匹配结果，并根据所述第一流匹配结果，设置所述响应数据包对应的连接追踪项；判别模块，用于根据所述连接追踪项设置所述响应数据包对应的内核地址，并判断所述内核地址是否符合负载均衡服务器的预置标识信息格式；第二流匹配模块，用于若符合，则根据所述内核地址，采用预置第二规则流表对所述响应数据包进行流匹配，得到第二流匹配结果，并根据所述第二流匹配结果，设置所述响应数据包接收对应的目标负载均衡服务器的目标通道地址；发送模块，用于根据所述目标通道地址，将所述响应数据包发送至所述目标负载均衡服务器，并通过所述目标负载均衡服务器将所述响应数据包发送至对应的第二客户端。

可选的，在本发明第二方面的第一种实现方式中，所述第一流匹配模块包括：遍历单元，用于将所述响应数据包发送至预置初始数据路径，并采用所述目标端地址遍历所述初始数据路径对应的预置第一规则流表，得到所述响应数据包对应流匹配的执行动作和初始流匹配结果；退出单元，用于判断所述执行动作是否为数据包输出；若是，则将所述初始匹配结果作为第一流匹配结果并从所述初始数据路径输出；循环单元，用于若否，则根据所述执行结果，将所述响应数据包发送至下一个数据路径，并在所述下一个数据路径中，采用所述目标端地址遍历所述下一个数据路径对应的第一规则流表，得到所述响应数据包对应流匹配的下一个执行动作和新的初始流匹配结果，直到所述下一个执行动作为数据包输出时停止对所述响应数据包的流匹配，将所述新的初始流匹配结果作为第一流匹配结果并从所述下一个数据路径输出。

可选的，在本发明第二方面的第二种实现方式中，所述第一流匹配模块包括：筛选单元，用于根据所述第一流匹配结果，筛选所述响应数据包对应的连接追踪表，并在所述连接追踪表上预记录所述响应数据包的连接追踪项；过滤单元，用于采用预记录的连接追踪项，对所述响应数据包进行状态过滤，并根据状态过滤的结果，对所述连接追踪项进行确认；记录单元，用于在所述连接追踪表上记录所述响应数据包对应的确认后的连接追踪项。

可选的，在本发明第二方面的第三种实现方式中，所述基于负载均衡的数据传输装置还包括请求模块，用于：获取所述第二客户端上传的请求数据包，并提取所述请求数据包对应的源端通道地址；根据所述源端通道地址，判断所述请求数据包是否经过负载均衡服务器；若经过，则根据所述源端通道地址，调用预置第一钩子函数对所述请求数据包进行流匹配，得到所述请求数据包对应的内核地址，并将所述内核地址更新至所述第一规则流表；根据所述内核地址，调用预置第二钩子函数对所述请求数据包进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项；根据所述连接追踪项，将所述请求数据包发送至所述第一客户端。

可选的，在本发明第二方面的第四种实现方式中，所述请求模块还用于：提取所述响应数据包中的协议信息，并解析所述协议信息，多个协议字段；根据所述内核地址，调用对应的多个预置第二钩子函数，依次对对应的协议字段进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项。

可选的，在本发明第二方面的第五种实现方式中，所述基于负载均衡的数据传输装置还包括更新模块，用于：提取所述协议信息中的源端MAC地址，并采用所述源端通道地址替换所述源端MAC地址，得到新的协议信息；根据所述新的协议信息，对所述连接追踪项进行更新。

本发明第三方面提供了一种基于负载均衡的数据传输设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于负载均衡的数据传输设备执行上述的基于负载均衡的数据传输方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于负载均衡的数据传输方法。

本发明提供的技术方案中，通过连接追踪项标记第二客户端发送的请求数据包，第一客户端可以通过该连接追踪项识别来自于第二客户端的L4LB的响应数据包，解决客户端和负载均衡服务器访问的响应选取问题。同时对L4LB支持多个节点，同一个RS执行流匹配，而不需要进行节点转发和流量绕行。

附图说明

图1为本发明中基于负载均衡的数据传输方法的网络结构示意图；

图2为本发明中基于负载均衡的数据传输方法的第一个实施例示意图；

图3为本发明中基于负载均衡的数据传输方法的第二个实施例示意图；

图4为本发明中基于负载均衡的数据传输方法的第三个实施例示意图；

图5为本发明中基于负载均衡的数据传输装置的一个实施例示意图；

图6为本发明中基于负载均衡的数据传输装置的另一个实施例示意图；

图7为本发明中基于负载均衡的数据传输设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于负载均衡的数据传输方法、装置、设备及存储介质，获取第一客户端返回的响应数据包并提取对应的目标端地址；根据目标端地址，采用第一规则流表对响应数据包进行流匹配，以设置响应数据包对应的连接追踪项；根据连接追踪项设置响应数据包对应的内核地址并是否符合预置标识信息格式；若符合，则根据内核地址，采用预置第二规则流表对响应数据包进行流匹配，以设置响应数据包接收对应的目标通道地址；根据目标通道地址，将响应数据包经目标负载均衡服务器发送至对应的第二客户端。本发明实现了DNAT模式下，正确选择数据包回程的目标客户端或者负载均衡服务器。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，如图1所示，先对本发明中基于负载均衡的数据传输方法的网络结构示意图进行说明，具体如下所示：

在第一客户端101发送响应数据包至第二客户端102时，通过本发明基于负载均衡的数据传输的执行端103获取该响应数据包，并将响应数据包送入执行端中的OVS-Datapath，在OVS-Datapath中，根据从响应数据包提取的目标端地址，采用预置第一规则流表对响应数据包进行流匹配，得到第一流匹配结果；然后根据第一流匹配结果，将响应数据包送入本执行端中的Netfilter Conntrack，在Netfilter Conntrack中设置响应数据包对应的连接追踪项，并根据连接追踪项设置响应数据包对应的内核地址；如果该内核地址符合负载均衡服务器104的预置标识信息格式，则再次采用预置第二规则流表对响应数据包进行流匹配，得到第二流匹配结果，并根据第二流匹配结果，设置响应数据包接收对应的目标负载均衡服务器104在VLAN105的目标通道地址；根据目标通道地址，通过VLAN105，将响应数据包发送至目标负载均衡服务器104，并通过目标负载均衡服务器104将响应数据包发送至对应的第二客户端102。如果该内核地址不符合负载均衡服务器104的预置标识信息格式，则直接将响应数据包通过VLAN105的另一通道地址发送至第二客户端102。

在第二客户端102发送请求数据包至第一客户端101时，是经VXLAN105发送的，故获取该请求数据包后，通过提取请求数据包在VXLAN105转发对应的源端通道地址，可以判断请求数据包是否经过负载均衡服务器104；如果源端通道地址为kvm_vtep，则不经过，如果源端通道地址为L4LB_vtep，则经过；请求数据包经过或者不经过负载均衡服务器104，均会在本发明的执行端103的OVS-Datapath中根据源端通道地址，调用预置第一钩子函数对请求数据包进行流匹配，得到请求数据包对应的内核地址，并将请求数据包发送至执行端104中对应的Netfilter Conntrack；在Netfilter Conntrack根据内核地址，调用预置第二钩子函数对请求数据包进行连接跟踪匹配，得到请求数据包对应的连接追踪项，以记录请求数据包发送时是否经过负载均衡服务器104，后续返回响应数据包时可以选择相对应的VLAN105通道进行发送；最后根据得到的连接追踪项，将请求数据包发送至第一客户端101。

请参阅图2，本发明实施例中基于负载均衡的数据传输方法的第一个实施例包括：

201、获取第一客户端返回的响应数据包，并提取响应数据包对应的目标端地址；

可以理解的是，本发明的执行主体可以为基于负载均衡的数据传输装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

本实施例中，第一客户端指的是收到请求数据包后，返回响应数据包的客户端，可以包括实体客户端，也可以包括虚拟客户端，比如虚拟机、Docker容器等。其中，响应数据包中携带有协议信息，协议信息中包含有响应数据包预发送的第二客户端的目标端地址，基于DANT模式的响应数据包传输，需要后续对目标端地址进行进一步的转换，实现数据传输的分布式防火墙功能。目标端地址可以为预发送的第二客户端的IP地址，比如192.168.1.9。

202、根据目标端地址，采用预置第一规则流表对响应数据包进行流匹配，得到第一流匹配结果，并根据第一流匹配结果，设置响应数据包对应的连接追踪项；

本实施例中，采用OVS-Datapath(OpenVSwitch-Datapath，虚拟交换机-数据路径)的内核代码，对响应数据包进行流匹配。在OVS-Datapath中，第一规则流表的数量可以为一个或者多个，此处不做具体限定，在OVS-Datapath的终点为将响应数据包从OVS-Datapath输出，将匹配成功到的Match作为第一流匹配结果，用于设置响应数据包的连接追踪项。其中，每个第一规则流表中包括多个条目，一个条目包括一个键值(Match)和一个对应的执行动作(Action)。

其中，通过第一规则流表查找第二客户端发送响应数据包对应的请求数据包至第一客户端时，是直接发送还是经过负载均衡服务器发送，如果是直接发送，则此处发送响应数据包时也是直接发送至第二客户端，反之则是经过负载均衡服务器发送至第二客户端，故得到的第一流匹配结果中包含响应数据包是直接发送至第二客户端还是经过负载均衡服务器发送至第二客户端，并设置相应的连接追踪项，以用于对后续响应数据包的连接流转进行追踪，实时更新记录响应数据包的连接流转状态。后续在发送数据包至第二客户端时，则无需再次进行连接追踪项的生成，减少计算资源消耗。

另外，响应数据包从OVS-Datapath输出后，进入NF(Netfilter，网络过滤器)框架中，采用NF_HOOK函数生成响应数据包对应的连接追踪项，其中，可以在NF_HOOK中加入三个检测点，分别为NF_INET_PRE_ROUTING、NF_INET_FORWARD和NF_INET_POST_ROUTING，通过三个检测点来设置响应数据包对应的连接追踪项。即在OVS-Datapath内核代码中植入NF_HOOK，以实现分布式防火墙功能(The Distributed FireWall，DFW)。

203、根据连接追踪项设置响应数据包对应的内核地址，并判断内核地址是否符合负载均衡服务器的预置标识信息格式；

本实施例中，在第二客户端将请求数据包发送至第一客户端时，会先在连接追踪表中生成该请求数据包的连接追踪项，而此时第一客户端生成响应数据包的连接追踪项时，也记录在同一张连接追踪表中，前者通过请求数据包的内核地址设置连接追踪项，而此处只需对响应数据包的连接追踪项进行复位，即可得到对应的内核地址，具体可以采用函数iptables-t mangle-I PREROUTING-j CONNMARK--restore-mark进行设置。

另外，还需进一步对内核地址进行判别，通过内核地址的格式判断响应数据包是直接发送至客户端，还是通过L4LB发送给客户端，具体可以判断内核地址是否符合负载均衡服务器器的标识信息格式，具体可以采用函数if skb_mark！＝0：search skb_mark flow进行判别。

204、若符合，则根据内核地址，采用预置第二规则流表对响应数据包进行流匹配，得到第二流匹配结果，并根据第二流匹配结果，设置响应数据包接收对应的目标负载均衡服务器的目标通道地址；

本实施例中，如果内核地址符合负载均衡服务器的标识信息格式，则对响应数据包执行多一次流匹配，以进一步设置即将发送的目标负载均衡服务器的目标通道地址，在对响应数据包再次进行流匹配时，具体可以采用函数in_port(vm),ipv4(src＝vm_ip),skb_mark(l4lb_id)进行，将流匹配结果作为一个Match，则对应的Action为set(tunnel(tun_id＝vni,src＝kvm_vtep,dst＝l4lb_vtep))，即可得到对应的目标通道地址，即L4LB连接的VTEP地址。

205、根据目标通道地址，将响应数据包发送至目标负载均衡服务器，并通过目标负载均衡服务器将响应数据包发送至对应的第二客户端。

本实施例中，在确定了目标通道地址后，通过VXLAN(Virtual Extensible LocalArea Network，虚拟扩展局域网)通道将响应数据包发送至目标负载均衡服务器，然后又负载均衡服务器发送给对应的第二客户端。通过目标通道地址，响应数据包会被正确发送给L4LB，从而同时支持了客户端直接访问RS和通过L4LB访问RS的场景。其中，第二客户端指的是发送请求数据包至第一客户端，需要接收第一客户端返回的响应数据包的客户端，可以为实体客户端或者虚拟客户端。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本发明实施例中，本发明提供的技术方案中，通过连接追踪项标记第二客户端发送的请求数据包，第一客户端可以通过该连接追踪项识别来自于第二客户端的L4LB的响应数据包，解决客户端和负载均衡服务器访问的响应选取问题。同时对L4LB支持多个节点，同一个RS执行流匹配，而不需要进行节点转发和流量绕行。

请参阅图3，本发明实施例中基于负载均衡的数据传输方法的第二个实施例包括：

301、获取第二客户端上传的请求数据包，并提取请求数据包对应的源端通道地址；

302、根据源端通道地址，判断请求数据包是否经过负载均衡服务器；

本实施例中，在第二客户端发送请求数据包到第一客户端时，需要通过第二客户端的源端通道地址来生成连接追踪项，故此处需要先提取请求数据包的源端通道地址。第二客户端和第一客户端之间的数据包通过VXLAN通道传输，故如果第二客户端直接发送请求数据包至第一客户端，则源端通道地址src_vtep为kvm_vtep，如果是通过L4LB发送，则源端通道地址src_vtep为L4LB_vtep。

303、若经过，则根据源端通道地址，调用预置第一钩子函数对请求数据包进行流匹配，得到请求数据包对应的内核地址，并将内核地址更新至第一规则流表；

304、根据内核地址，调用预置第二钩子函数对请求数据包进行连接跟踪匹配，得到请求数据包对应的连接追踪项；

本实施例中，如果源端通道地址为L4LB_vtep，则使用IPTable，调用第一钩子函数对请求数据包进行流匹配，以生成请求数据包的内核地址，具体可以采用第一钩子函数：iptables-t raw-I PREROUTING-s l4lb_vtep-j MARK--set-mark mark_l4lb_vtep进行流匹配，实现将源端通道地址转换为内核地址，该流匹配过程在RS所在的物理机内核网络协议栈中进行，通过一个IPTable设置内核地址skb_mark。

本实施例中，在得到请求数据包的内核地址后，则将携带内核地址的请求数据包发送至NF中，通过NF_HOOk检测点来对请求数据包进行连接追踪匹配，以设置请求数据包的连接追踪项，具体可以采用iptables-t mangle-I PREROUTING–i vxlan-j CONNMARK--save-mark进行连接跟踪匹配，将skb_mark标记到对应的连接追踪项上。具体操作步骤如下所示：

(1)提取响应数据包中的协议信息，并解析协议信息，多个协议字段；

(2)根据内核地址，调用对应的多个预置第二钩子函数，依次对对应的协议字段进行连接跟踪匹配，得到请求数据包对应的连接追踪项。

本实施例中，响应数据包中携带有协议信息，包括第二客户端的MAC地址、源端通道地址(L4LB_vtep)和源端端口号(32775)、第一客户端的目标端IP地址(192.168.1.9)和目标端端口号(22)等，解析该协议信息，即可得到前述的各类协议字段，每个协议字段，可以采用对应的第二钩子函数进行连接跟踪匹配，比如对MAC地址的匹配，可以采用第二钩子函数中的iptables-A INPUT-p tcp--dport 3306-m mac--mac-source 00:02:03:04:1F:13-j ACCEPT，在对各协议字段连接跟踪匹配完毕后，即可输出请求数据包的连接追踪项。

305、提取协议信息中的源端MAC地址，并采用源端通道地址替换源端MAC地址，得到新的协议信息；

306、根据新的协议信息，对连接追踪项进行更新。

本实施例中，协议信息中还包括Inner Ethernet Header的源端MAC地址(InnerSource MAC Address)，因为源端MAC地址的具体值对第一客户端没有任何影响，只是不能为广播/组播MAC。让L4LB在转发第二客户端到第一客户端的请求数据包时，改写InnerSource MAC为源端通道地址L4LB_vtep，只会由该L4LB使用，不会重复指定其他的L4LB，以此在后续发送时，可以正确指定对应的目标负载均衡服务器。

然后通过替换后得到的新的协议信息，对连接跟踪项进行更新，对OVS-DATAPATH，从vxlan收的包，如果inner_src_mac＝＝L4LB_vtep，则认为数据包由L4LB发出，可以使用skb_nfct(skb)获取nf_conn的指针，并设置ct_mark＝＝src_vtep，实现对连接追踪项的更新。

307、根据连接追踪项，将请求数据包发送至第一客户端。

本发明实施例中，第二客户端发送请求数据包给第一客户端时，通过OVS-DATAPATH的流匹配和NF_HOOK的连接追踪匹配，对第二客户端发送所经过的负载均衡服务器L4LB进行连接追踪项的设置，后续在第一客户端发送响应数据包至第二客户端时，即可通过反向操作，根据连接追踪项即可找到正确的L4LB，并将响应数据包发送至正确的L4LB进行转发，实现客户端直接发送至RS和经过L4LB发送至RS两条线路的并行选择。

请参阅图4，本发明实施例中基于负载均衡的数据传输方法的第三个实施例包括：

401、获取第一客户端返回的响应数据包，并提取响应数据包对应的目标端地址；

402、将响应数据包发送至预置初始数据路径，并采用目标端地址遍历初始数据路径对应的预置第一规则流表，得到响应数据包对应流匹配的执行动作和初始流匹配结果；

403、判断执行动作是否为数据包输出；

404、若是，则将初始匹配结果作为第一流匹配结果并从初始数据路径输出；

405、若否，则根据执行结果，将响应数据包发送至下一个数据路径，并在下一个数据路径中，采用目标端地址遍历下一个数据路径对应的第一规则流表，得到响应数据包对应流匹配的下一个执行动作和新的初始流匹配结果，直到下一个执行动作为数据包输出时停止对响应数据包的流匹配，将新的初始流匹配结果作为第一流匹配结果并从下一个数据路径输出；

本实施例中，一个数据路径关联一个第一规则流表，一个第一规则流表包括多个条目，一个条目包括一个键值和一个对应的执行动作，当采用目标端地址在一个第一规则流表中匹配到一个键值时，则执行相应的执行动作。其中，对于每一个响应数据包，均通过一个初始数据路径进行流匹配，然后分流到不同的其他数据路径或者从OVS-Datapath输出。

具体的，将响应数据包发送至OVS-Datapath统一的数据接口Vport，对所有的数据包进行集成接收，然后选取与该目标端地址关联的第一规则流表，在第一规则流表中进行流匹配，具体流匹配过程是匹配与响应数据包相关联的键值，得到该键值对应的执行动作；执行动作包括跳转到下一个第一规则流表和将响应数据包从OVS-Datapath输出；如果是跳转到下一个第一规则流表，则在下一个第一规则流表中对响应数据包进行流匹配，以此类推，直到最终的执行动作为将响应数据包从OVS-Datapath输出时停止，得到第一流匹配结果。

406、根据第一流匹配结果，筛选响应数据包对应的连接追踪表，并在连接追踪表上预记录响应数据包的连接追踪项；

407、采用预记录的连接追踪项，对响应数据包进行状态过滤，并根据状态过滤的结果，对连接追踪项进行确认；

408、在连接追踪表上记录响应数据包对应的确认后的连接追踪项；

本实施例中，NF_HOOK中设置的三个检测点NF_INET_PRE_ROUTING、NF_INET_FORWARD和NF_INET_POST_ROUTING，其中，Linux内核的Netfilter框架在NF_INET_PRE_ROUTING检测点做conntrack_in操作生成Conntrack条目的连接追踪项并预记录在响应数据包的连接追踪表中；IPTables Rule挂载在NF_INET_FORWARD检测点上，响应数据包通过时会执行这些规则，执行规则时可以利用生成的Conntrack条目来做状态过滤；最终在NF_INET_POST_ROUTING检测点中确认这个Conntrack条目，确认成功后即可得到连接追踪项，并记录在连接追踪表上。

409、根据连接追踪项设置响应数据包对应的内核地址，并判断内核地址是否符合负载均衡服务器的预置标识信息格式；

410、若符合，则根据内核地址，采用预置第二规则流表对响应数据包进行流匹配，得到第二流匹配结果，并根据第二流匹配结果，设置响应数据包接收对应的目标负载均衡服务器的目标通道地址；

411、根据目标通道地址，将响应数据包发送至目标负载均衡服务器，并通过目标负载均衡服务器将响应数据包发送至对应的第二客户端。

本发明实施例中，在第一客户端发送响应数据包至第二客户端时，通过两次OVS-Datapath的流匹配和一次NF_HOOK的连接追踪匹配，确定第一客户端是直接发送响应数据包至第二客户端还是经负载均衡服务器发送至第二客户端，并在经负载均衡服务器时，还进一步选择正确的目标负载均衡服务器进行转发，实现回程数据包对负载均衡服务器的正确选择。

上面对本发明实施例中基于负载均衡的数据传输方法进行了描述，下面对本发明实施例中基于负载均衡的数据传输装置进行描述，请参阅图5，本发明实施例中基于负载均衡的数据传输装置一个实施例包括：

提取模块501，用于获取第一客户端返回的响应数据包，并提取所述响应数据包对应的目标端地址；

第一流匹配模块502，用于根据所述目标端地址，采用预置第一规则流表对所述响应数据包进行流匹配，得到第一流匹配结果，并根据所述第一流匹配结果，设置所述响应数据包对应的连接追踪项；

判别模块503，用于根据所述连接追踪项设置所述响应数据包对应的内核地址，并判断所述内核地址是否符合负载均衡服务器的预置标识信息格式；

第二流匹配模块504，用于若符合，则根据所述内核地址，采用预置第二规则流表对所述响应数据包进行流匹配，得到第二流匹配结果，并根据所述第二流匹配结果，设置所述响应数据包接收对应的目标负载均衡服务器的目标通道地址；

发送模块505，用于根据所述目标通道地址，将所述响应数据包发送至所述目标负载均衡服务器，并通过所述目标负载均衡服务器将所述响应数据包发送至对应的第二客户端。

本发明实施例中，本发明提供的技术方案中，通过连接追踪项标记第二客户端发送的请求数据包，第一客户端可以通过该连接追踪项识别来自于第二客户端的L4LB的响应数据包，解决客户端和负载均衡服务器访问的响应选取问题。同时对L4LB支持多个节点，同一个RS执行流匹配，而不需要进行节点转发和流量绕行。

请参阅图5，本发明实施例中基于负载均衡的数据传输装置的另一个实施例包括：

提取模块501，用于获取第一客户端返回的响应数据包，并提取所述响应数据包对应的目标端地址；

第一流匹配模块502，用于根据所述目标端地址，采用预置第一规则流表对所述响应数据包进行流匹配，得到第一流匹配结果，并根据所述第一流匹配结果，设置所述响应数据包对应的连接追踪项；

判别模块503，用于根据所述连接追踪项设置所述响应数据包对应的内核地址，并判断所述内核地址是否符合负载均衡服务器的预置标识信息格式；

第二流匹配模块504，用于若符合，则根据所述内核地址，采用预置第二规则流表对所述响应数据包进行流匹配，得到第二流匹配结果，并根据所述第二流匹配结果，设置所述响应数据包接收对应的目标负载均衡服务器的目标通道地址；

发送模块505，用于根据所述目标通道地址，将所述响应数据包发送至所述目标负载均衡服务器，并通过所述目标负载均衡服务器将所述响应数据包发送至对应的第二客户端。

具体的，所述第一流匹配模块502包括：

遍历单元5021，用于将所述响应数据包发送至预置初始数据路径，并采用所述目标端地址遍历所述初始数据路径对应的预置第一规则流表，得到所述响应数据包对应流匹配的执行动作和初始流匹配结果；

退出单元5022，用于判断所述执行动作是否为数据包输出；若是，则将所述初始匹配结果作为第一流匹配结果并从所述初始数据路径输出；

循环单元5023，用于若否，则根据所述执行结果，将所述响应数据包发送至下一个数据路径，并在所述下一个数据路径中，采用所述目标端地址遍历所述下一个数据路径对应的第一规则流表，得到所述响应数据包对应流匹配的下一个执行动作和新的初始流匹配结果，直到所述下一个执行动作为数据包输出时停止对所述响应数据包的流匹配，将所述新的初始流匹配结果作为第一流匹配结果并从所述下一个数据路径输出。

具体的，所述第一流匹配模块502还包括：

筛选单元5024，用于根据所述第一流匹配结果，筛选所述响应数据包对应的连接追踪表，并在所述连接追踪表上预记录所述响应数据包的连接追踪项；

过滤单元5025，用于采用预记录的连接追踪项，对所述响应数据包进行状态过滤，并根据状态过滤的结果，对所述连接追踪项进行确认；

记录单元5026，用于在所述连接追踪表上记录所述响应数据包对应的确认后的连接追踪项。

具体的，所述基于负载均衡的数据传输装置还包括请求模块505，用于：

获取所述第二客户端上传的请求数据包，并提取所述请求数据包对应的源端通道地址；

根据所述源端通道地址，判断所述请求数据包是否经过负载均衡服务器；

若经过，则根据所述源端通道地址，调用预置第一钩子函数对所述请求数据包进行流匹配，得到所述请求数据包对应的内核地址，并将所述内核地址更新至所述第一规则流表；

根据所述内核地址，调用预置第二钩子函数对所述请求数据包进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项；

根据所述连接追踪项，将所述请求数据包发送至所述第一客户端。

具体的，所述请求模块506还用于：

提取所述响应数据包中的协议信息，并解析所述协议信息，多个协议字段；

根据所述内核地址，调用对应的多个预置第二钩子函数，依次对对应的协议字段进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项。

具体的，所述基于负载均衡的数据传输装置还包括更新模块407，用于：

提取所述协议信息中的源端MAC地址，并采用所述源端通道地址替换所述源端MAC地址，得到新的协议信息；

根据所述新的协议信息，对所述连接追踪项进行更新。

本发明实施例中，第二客户端发送请求数据包给第一客户端时，通过OVS-DATAPATH的流匹配和NF_HOOK的连接追踪匹配，对第二客户端发送所经过的负载均衡服务器L4LB进行连接追踪项的设置，后续在第一客户端发送响应数据包至第二客户端时，即可通过反向操作，根据连接追踪项即可找到正确的L4LB，并将响应数据包发送至正确的L4LB进行转发，实现客户端直接发送至RS和经过L4LB发送至RS两条线路的并行选择；另外，在第一客户端发送响应数据包至第二客户端时，通过两次OVS-Datapath的流匹配和一次NF_HOOK的连接追踪匹配，确定第一客户端是直接发送响应数据包至第二客户端还是经负载均衡服务器发送至第二客户端，并在经负载均衡服务器时，还进一步选择正确的目标负载均衡服务器进行转发，实现回程数据包对负载均衡服务器的正确选择。

上面图5和图6从模块化功能实体的角度对本发明实施例中的基于负载均衡的数据传输装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于负载均衡的数据传输设备进行详细描述。

图7是本发明实施例提供的一种基于负载均衡的数据传输设备的结构示意图，该基于负载均衡的数据传输设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于负载均衡的数据传输设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在基于负载均衡的数据传输设备700上执行存储介质730中的一系列指令操作。

基于负载均衡的数据传输设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的基于负载均衡的数据传输设备结构并不构成对基于负载均衡的数据传输设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种基于负载均衡的数据传输设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于负载均衡的数据传输方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于负载均衡的数据传输方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于负载均衡的数据传输方法，其特征在于，所述基于负载均衡的数据传输方法包括：

获取第一客户端返回的响应数据包，并提取所述响应数据包对应的目标端地址；

根据所述目标端地址，采用预置第一规则流表对所述响应数据包进行流匹配，得到第一流匹配结果，并根据所述第一流匹配结果，设置所述响应数据包对应的连接追踪项；

根据所述连接追踪项设置所述响应数据包对应的内核地址，并判断所述内核地址是否符合负载均衡服务器的预置标识信息格式；

若符合，则根据所述内核地址，采用预置第二规则流表对所述响应数据包进行流匹配，得到第二流匹配结果，并根据所述第二流匹配结果，设置所述响应数据包接收对应的目标负载均衡服务器的目标通道地址；

根据所述目标通道地址，将所述响应数据包发送至所述目标负载均衡服务器，并通过所述目标负载均衡服务器将所述响应数据包发送至对应的第二客户端。

2.根据权利要求1所述的基于负载均衡的数据传输方法，其特征在于，所述根据所述目标端地址，采用预置第一规则流表对所述响应数据包进行流匹配，得到第一流匹配结果包括：

将所述响应数据包发送至预置初始数据路径，并采用所述目标端地址遍历所述初始数据路径对应的预置第一规则流表，得到所述响应数据包对应流匹配的执行动作和初始流匹配结果；

判断所述执行动作是否为数据包输出；

若是，则将所述初始流匹配结果作为第一流匹配结果并从所述初始数据路径输出；

若否，则根据执行结果，将所述响应数据包发送至下一个数据路径，并在所述下一个数据路径中，采用所述目标端地址遍历所述下一个数据路径对应的第一规则流表，得到所述响应数据包对应流匹配的下一个执行动作和新的初始流匹配结果，直到所述下一个执行动作为数据包输出时停止对所述响应数据包的流匹配，将所述新的初始流匹配结果作为第一流匹配结果并从所述下一个数据路径输出。

3.根据权利要求1所述的基于负载均衡的数据传输方法，其特征在于，所述根据所述第一流匹配结果，设置所述响应数据包对应的连接追踪项包括：

根据所述第一流匹配结果，筛选所述响应数据包对应的连接追踪表，并在所述连接追踪表上预记录所述响应数据包的连接追踪项；

采用预记录的连接追踪项，对所述响应数据包进行状态过滤，并根据状态过滤的结果，对所述连接追踪项进行确认；

在所述连接追踪表上记录所述响应数据包对应的确认后的连接追踪项。

4.根据权利要求1所述的基于负载均衡的数据传输方法，其特征在于，在所述获取第一客户端返回的响应数据包，并提取所述响应数据包对应的目标端地址之前，还包括：

获取所述第二客户端上传的请求数据包，并提取所述请求数据包对应的源端通道地址；

根据所述源端通道地址，判断所述请求数据包是否经过负载均衡服务器；

若经过，则根据所述源端通道地址，调用预置第一钩子函数对所述请求数据包进行流匹配，得到所述请求数据包对应的内核地址，并将所述内核地址更新至所述第一规则流表；

根据所述内核地址，调用预置第二钩子函数对所述请求数据包进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项；

根据所述连接追踪项，将所述请求数据包发送至所述第一客户端。

5.根据权利要求4所述的基于负载均衡的数据传输方法，其特征在于，所述根据所述内核地址，调用预置第二钩子函数对所述请求数据包进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项包括：

提取所述响应数据包中的协议信息，并解析所述协议信息，多个协议字段；

根据所述内核地址，调用对应的多个预置第二钩子函数，依次对对应的协议字段进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项。

6.根据权利要求5所述的基于负载均衡的数据传输方法，其特征在于，在所述根据所述内核地址，调用预置第二钩子函数对所述请求数据包进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项之后，还包括：

提取所述协议信息中的源端MAC地址，并采用所述源端通道地址替换所述源端MAC地址，得到新的协议信息；

根据所述新的协议信息，对所述连接追踪项进行更新。

7.一种基于负载均衡的数据传输装置，其特征在于，所述基于负载均衡的数据传输装置包括：

提取模块，用于获取第一客户端返回的响应数据包，并提取所述响应数据包对应的目标端地址；

第一流匹配模块，用于根据所述目标端地址，采用预置第一规则流表对所述响应数据包进行流匹配，得到第一流匹配结果，并根据所述第一流匹配结果，设置所述响应数据包对应的连接追踪项；

判别模块，用于根据所述连接追踪项设置所述响应数据包对应的内核地址，并判断所述内核地址是否符合负载均衡服务器的预置标识信息格式；

第二流匹配模块，用于若符合，则根据所述内核地址，采用预置第二规则流表对所述响应数据包进行流匹配，得到第二流匹配结果，并根据所述第二流匹配结果，设置所述响应数据包接收对应的目标负载均衡服务器的目标通道地址；

发送模块，用于根据所述目标通道地址，将所述响应数据包发送至所述目标负载均衡服务器，并通过所述目标负载均衡服务器将所述响应数据包发送至对应的第二客户端。

8.根据权利要求7所述的基于负载均衡的数据传输装置，其特征在于，所述基于负载均衡的数据传输装置还包括请求模块，用于：

获取所述第二客户端上传的请求数据包，并提取所述请求数据包对应的源端通道地址；

根据所述源端通道地址，判断所述请求数据包是否经过负载均衡服务器；

若经过，则根据所述源端通道地址，调用预置第一钩子函数对所述请求数据包进行流匹配，得到所述请求数据包对应的内核地址，并将所述内核地址更新至所述第一规则流表；

根据所述内核地址，调用预置第二钩子函数对所述请求数据包进行连接跟踪匹配，得到所述请求数据包对应的连接追踪项；

根据所述连接追踪项，将所述请求数据包发送至所述第一客户端。

9.一种基于负载均衡的数据传输设备，其特征在于，所述基于负载均衡的数据传输设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于负载均衡的数据传输设备执行如权利要求1-6中任意一项所述的基于负载均衡的数据传输方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述基于负载均衡的数据传输方法。