CN114500389A

CN114500389A - 基于负载均衡连接信息与旁路流量实现流量缝合的方法

Info

Publication number: CN114500389A
Application number: CN202210352773.0A
Authority: CN
Inventors: 晏顺; 赵龙
Original assignee: Beijing Zhiwei Yingxun Network Technology Co ltd
Current assignee: Beijing Zhiwei Yingxun Network Technology Co ltd
Priority date: 2022-04-06
Filing date: 2022-04-06
Publication date: 2022-05-13
Anticipated expiration: 2042-04-06
Also published as: CN114500389B

Abstract

本申请涉及一种基于负载均衡连接信息与旁路流量实现流量缝合的方法，通过获取负载均衡连接表信息，发送并保存所述负载均衡连接表信息至连接缝合平台；采集负载均衡前后端的旁路流量，并根据所述旁路流分析计算得到流量与指标信息；基于所述负载均衡连接表信息和所述流量与指标信息，实现流量缝合。能够基于旁路流量与负载均衡连接信息结合，实现负载均衡前后端连接与流量的精准缝合，同时可以通过流量指标信息进行前后端对比分析快速定位业务故障域，判断业务服务质量。

Description

基于负载均衡连接信息与旁路流量实现流量缝合的方法

技术领域

本公开涉及数据流量处理技术领域，尤其涉及一种基于负载均衡连接信息与旁路流量实现流量缝合的方法、装置和流量缝合平台。

背景技术

负载均衡设备作为数据中心的关键节点，承载着企业的重要业务，实现业务的分发、调度，提升业务交付的性能和质量。复杂均衡采用全代理架构处理业务请求，连接会话在负载均衡设备前是一个通讯对，经过负载均衡设备后会随机的转换成另一个完全不同通讯对。因此分析负载设备前后连接会话关联关系困难很大。传统方式通过登录负载均衡设备查看实时的会话连接标，或者通过海量的数据报文中通过时间范围、IPID值（即Identification）、数据包负荷（Payload）来判断设备前后是不是同一个连接会话。

现有的负载均衡前后端流量缝合的两种技术，第一种基于负载均衡连接信息与旁路流量实现流量缝合的方法需要登录负载均衡设备进行实时的连接表信息查看，并根据连接表前后两段的四元组信息到流量采集设备上进行过滤和分析。负载均衡设备的连接表信息显示的是当前活跃的连接，一旦会话结束连接表就会释放，因此登录负载均衡设备无法获得历史连接表信息，对已发生问题的连接无法进行回溯分析。另外在流量采集设备上需要做人为的流量过滤和指标筛选，很难实现快速的指标对比和故障发现，下载数据包分析又严重依赖运维人员的技术积累。第二种方式是通过流量采集设备上对海量的数据包的时间范围、IPID值（即Identification）、数据包负荷（Payload）进行对比来发现前后端连接的对应关系。这种方式需要消耗大量的计算资源来对连接关系进行判断，同时在经过源地址转换（SNAT）和SSL卸载的场景（即前端连接为HTTPS，经过SSL设备后转换成明文HTTP），通过IPID和数据包负荷的方式无法保证前后端连接缝合关系的准确性。综上所述，当前负载均衡流量缝合方案存在以下问题：

实时连接表信息需要人工过滤四元组信息，数据获取效率低；

历史连接表信息无法获取，影响业务故障恢复时间和历史问题回溯；

前后端流量对比分析，连接缝合速度慢、准确率低。

发明内容

有鉴于此，本公开提出了一种基于负载均衡连接信息与旁路流量实现流量缝合的方法、装置和流量缝合平台，基于旁路流量与负载均衡连接信息结合，实现负载均衡前后端连接与流量的精准缝合，同时可以通过流量指标信息进行前后端对比分析快速定位业务故障域，判断业务服务质量。

根据本公开的一方面，提供了一种基于负载均衡连接信息与旁路流量实现流量缝合的方法，包括如下步骤：

S100、获取负载均衡连接表信息，发送并保存所述负载均衡连接表信息至连接缝合平台；

S200、采集负载均衡前后端的旁路流量，并根据所述旁路流分析计算得到流量与指标信息；

S300、基于所述负载均衡连接表信息和所述流量与指标信息，实现流量缝合。

在一种可能的实现方式中，可选地，在步骤S100中，所述获取负载均衡连接表信息，发送并保存所述负载均衡连接表信息至连接缝合平台，包括：

S110、预设负载均衡连接表信息获取方式，通过所述负载均衡连接表信息获取方式获取所述负载均衡连接表信息；

S120、对所述负载均衡连接表信息进行解析处理，得到连接表解析信息；

S130、获取并发送所述连接表解析信息至所述连接缝合平台。

在一种可能的实现方式中，可选地，在步骤S200中，所述采集负载均衡前后端的旁路流量，并根据所述旁路流分析计算得到流量与指标信息，包括：

S210、预设旁路流量采集方式；

S220、根据所述旁路流量采集方式，采集所述负载均衡前后端的网络流量，并发送至流量采集探针；

S230、通过所述流量采集探针，对所述负载均衡前后端的网络流量进行分析，得到所述负载均衡前后端的旁路流量。

在一种可能的实现方式中，可选地，在步骤S200中，所述采集负载均衡前后端的旁路流量，并根据所述旁路流分析计算得到流量与指标信息，还包括：

S211、获得所述负载均衡前后端的旁路流量；

S212、记录所述旁路流量中每一个IP通讯对的四元组信息，并根据预设指标统计方式，计算得到与所述四元组信息相对应的指标信息；

S213、将所述流量信息和所述指标信息集合为第一流量包，发送并保存至数据报表中。

在一种可能的实现方式中，可选地，在步骤S300中，所述基于所述负载均衡连接表信息和所述流量与指标信息，实现流量缝合，包括：

S310、根据所述负载均衡连接表信息，获取每一条连接表信息中所包含的流量信息；

S320、预设连接表指标分析方法，根据所述连接表指标分析方法从所述连接表信息中获得与所述流量信息对应的指标参数；

S330、将所述连接表信息的流量信息和指标参数集合为第二流量包，并与所述第一流量包进行合并，进行流量缝合得到流量缝合包。

在一种可能的实现方式中，可选地，在步骤S300中，所述基于所述负载均衡连接表信息和所述流量与指标信息，实现流量缝合，还包括：

S311、获取所述流量缝合包，根据所述流量缝合包，对所述连接表指标进行前后端的对比分析，获得指标分析结果；

S321、预设可视化模型，通过所述可视化模型对所述指标分析结果进行图形可视化展示；

S331、将展示结果发送至用户端。

根据本公开的另一方面，提供了一种实现上述所述的基于负载均衡连接信息与旁路流量实现流量缝合的方法的装置，包括：

负载均衡设备，用于获取负载均衡连接表信息，发送并保存所述负载均衡连接表信息至连接缝合平台；

流量采集模块，用于采集负载均衡前后端的旁路流量，并根据所述旁路流分析计算得到流量与指标信息；

流量缝合平台，用于基于所述负载均衡连接表信息和所述流量与指标信息，实现流量缝合。

在一种可能的实现方式中，可选地，所述负载均衡设备，还用于：

对所述负载均衡连接表信息进行解析处理，得到连接表解析信息；获取并发送所述连接表解析信息至所述流量缝合平台。

在一种可能的实现方式中，可选地，还包括：

交换机，用于通过预设的旁路流量采集方式，将负载均衡前后端流量转发到流量采集模块；

所述交换机电连接所述负载均衡设备。

根据本公开的另一方面，提供了一种流量缝合平台，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现上述所述的基于负载均衡连接信息与旁路流量实现流量缝合的方法。

本申请的技术效果：

本发明通过获取负载均衡连接表信息，发送并保存所述负载均衡连接表信息至连接缝合平台；采集负载均衡前后端的旁路流量，并根据所述旁路流分析计算得到流量与指标信息；基于所述负载均衡连接表信息和所述流量与指标信息，实现流量缝合。能够基于旁路流量与负载均衡连接信息结合，实现负载均衡前后端连接与流量的精准缝合，同时可以通过流量指标信息进行前后端对比分析快速定位业务故障域，判断业务服务质量。

基于负载均衡连接表和流量数据的精准缝合具备以下优势：

1.历史连接信息持久化，可以实现历史问题回溯；

2.连接信息与流量信息自动管理，提升问题排查效率；

3.通过多维度指标的前后端对比定位问题，降低问题分析门槛。

本方案通过负载均衡设备发送连接信息日志或通过负载均衡设备的API接口获取负载均衡设备上的连接表信息；通过旁路采集负载均衡前后的流量信息，将连接表中的通讯对在流量设备上进行自动过滤、关联、指标计算、数据包拼接，供技术人员进行数据消费。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出为本发明基于负载均衡连接信息与旁路流量实现流量缝合的方法的实时流程示意图；

图2示出为本发明实施例2中装置的组成示意图；

图3示出为本发明流量缝合的实施示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

实施例1

如图1所示，根据本公开的一方面，提供了一种基于负载均衡连接信息与旁路流量实现流量缝合的方法，包括如下步骤：

如图2所示，本方案涉及到以下几个主体/模块：交换机、负载均衡、流量采集探针、流量缝合平台。

交换机连接负载均衡设备，并且通过流量镜像的方式将负载均衡前后端流量转发到流量采集探针。

流量采集探针，用于旁路采集并分析网络流量。

负载均衡设备在处理流量的同时将连接表信息发送至流量缝合平台。

流量缝合平台基于流量数据和连接表信息实现连接表的持久化存储和流量的缝合工作。

本实施例，通过负载均衡高速日志（High Speed Log）获取或应用程序编程接口（API）获取负载均衡连接表信息，获取完毕，将所述负载均衡连接表信息发送并保存至连接缝合平台。

本发明通过基于旁路流量与负载均衡连接信息结合，实现负载均衡前后端连接与流量的精准缝合，因此采用通过流量指标信息进行前后端对比分析的方式，快速定位业务故障域，以此判断业务服务质量。

首先，交换机连接负载均衡设备，并且通过流量镜像的方式将负载均衡前后端流量转发到流量采集探针。

流量采集探针对旁路网络进行流量采集，并进行网络流量分析，以此得到流量与指标信息。

其中，指标信息，具体通过：记录每一个IP通讯对的四元组信息，并根据四元组信息对TCP建连失败、TCP延迟、应用错误响应码等大量指标进行计算，得到指标数据，最后保存在数据报表中以供后续流量缝合时进行消费使用。

如图3所示，流量缝合平台对每一条连接表进行解析处理，将单一连接信息整理客户端侧信息和服务端侧信息。对梳理完成的每一条连接表信息，获取旁路流量采集获取的流量信息以及分析形成的指标参数。

流量缝合平台基于流量数据和连接表信息，实现连接表的持久化存储和流量的缝合工作。

其中，流量采集上的流量和指标信息是基于单个TCP连接的四元组进行收集和计算的，根据连接表中前后端连接分别获取相关信息后，对两段连接的流量包进行合并，对指标进行前后端的对比分析并实现图形化展示。

S130、获取并发送所述连接表解析信息至所述连接缝合平台。

负载均衡连接表信息获取方式的方式可以多样化，本实施例，采用负载均衡高速日志（High Speed Log）获取或应用程序编程接口（API）获取负载均衡连接表信息。

负载均衡无论通过高速日志还是API获取都会包括源IP、目的IP、源端口、目的端口之外的信息，平台需要对每一条连接表进行解析处理，将单一连接信息整理客户端侧（Client-Side）源IP、目的IP、源端口、目的端口和服务端侧（Server-Side）源IP、目的IP、源端口、目的端口。解析完毕，发送至连接缝合平台，等待缝合。

S210、预设旁路流量采集方式；

旁路流量采集方式，本实施例通过交换机连接负载均衡设备，并且通过流量镜像的方式将负载均衡前后端流量转发到流量采集探针，再由流量采集探针采集旁路流量。

S211、获得所述负载均衡前后端的旁路流量；

记录每一个IP通讯对的四元组信息，并根据四元组信息对TCP建连失败、TCP延迟、应用错误响应码等大量指标进行计算，得到指标数据，保存在数据报表中以供后续流量缝合时进行消费使用。

如图3所示，在交换机进行流量采集后，进行指标统计，此时会形成流量和指标信息的数据包即第一流量包，发送并保存至数据报表中，等待流量缝合。流量采集上的流量和指标信息是基于单个TCP连接的四元组进行收集和计算的，根据连接表中前后端连接分别获取相关信息后，对两段连接的流量包进行合并，对指标进行前后端的对比分析并实现图形化展示。

同理，在负载均衡设备这边，根据连接表指标分析方法，得到的流量信息和指标参数，将会形成另一个流量包即第二流量包，流量缝合平台会根据设定的条件，将第二流量包与所述第一流量包进行合并，进行流量缝合得到流量缝合包。

S331、将展示结果发送至用户端。

如图3所示，对交换机获得的陆良与指标信息，和负载均衡设备获得的连接表信息，进行流量缝合。其基于单个TCP连接的四元组进行收集和计算的，根据连接表中前后端连接分别获取相关信息后，对两段连接的流量包进行合并，对指标进行前后端的对比分析并实现图形化展示，可以通过Web页面基于时间、IP地址、端口等多个维度进行过滤和消费。可以根据需求进行实时问题的排查和历史问题的回溯。

可以通过Web页面基于时间、IP地址、端口等多个维度，将缝合的流量包发送给消费者的终端，进行消费使用。

这样可以使得负载均衡连接缝合更准确；负载均衡历史连接持久化、可回溯；策略收敛的准确度更高，避免收敛错误。

需要说明的是，尽管以负载均衡高速日志（HighSpeedLog）获取或应用程序编程接口（API）作为示例介绍如上负载均衡连接表信息的获取方式，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定获取方式，只要可以获得负载均衡连接表信息即可。

实施例2

基于实施例1的实施，本实施，根据本公开的另一方面，提供了一种实现上述所述的基于负载均衡连接信息与旁路流量实现流量缝合的方法的装置，包括：

在一种可能的实现方式中，可选地，还包括：

所述交换机电连接所述负载均衡设备。

如图2所示，本实施例，流量采集模块主要采用流量采集探针。其中，通过交换机连接负载均衡设备，通过流量镜像的方式将负载均衡前后端流量转发到流量采集探针。

其中，流量缝合平台获取负载均衡连接表信息，将连接表信息发送至连接缝合平台。

可以通过通过负载均衡高速日志（High Speed Log）获取或应用程序编程接口（API），来获取负载均衡连接表信息。

如图3所示，流量缝合平台，对交换机获得的陆良与指标信息，和负载均衡设备获得的连接表信息，进行流量缝合。其基于单个TCP连接的四元组进行收集和计算的，根据连接表中前后端连接分别获取相关信息后，对两段连接的流量包进行合并，对指标进行前后端的对比分析并实现图形化展示，可以通过Web页面基于时间、IP地址、端口等多个维度进行过滤和消费。可以根据需求进行实时问题的排查和历史问题的回溯。

此外，各个模块/硬件的功能和实施原理，具体参见上述实施例的描述，本处不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

实施例3

更进一步地，根据本公开的另一方面，提供了一种流量缝合平台，包括：

处理器；

用于存储处理器可执行指令的存储器；

本公开实施例流量缝合平台包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的一种基于负载均衡连接信息与旁路流量实现流量缝合的方法。

此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的流量缝合平台中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器作为一种基于负载均衡连接信息与旁路流量实现流量缝合的方法计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种基于负载均衡连接信息与旁路流量实现流量缝合的方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行流量缝合平台的各种功能应用及数据处理。

输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种基于负载均衡连接信息与旁路流量实现流量缝合的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于负载均衡连接信息与旁路流量实现流量缝合的方法，其特征在于，在步骤S100中，所述获取负载均衡连接表信息，发送并保存所述负载均衡连接表信息至连接缝合平台，包括：

S130、获取并发送所述连接表解析信息至所述连接缝合平台。

3.根据权利要求1所述的基于负载均衡连接信息与旁路流量实现流量缝合的方法，其特征在于，在步骤S200中，所述采集负载均衡前后端的旁路流量，并根据所述旁路流分析计算得到流量与指标信息，包括：

S210、预设旁路流量采集方式；

4.根据权利要求3所述的基于负载均衡连接信息与旁路流量实现流量缝合的方法，其特征在于，在步骤S200中，所述采集负载均衡前后端的旁路流量，并根据所述旁路流分析计算得到流量与指标信息，还包括：

S211、获得所述负载均衡前后端的旁路流量；

5.根据权利要求4所述的基于负载均衡连接信息与旁路流量实现流量缝合的方法，其特征在于，在步骤S300中，所述基于所述负载均衡连接表信息和所述流量与指标信息，实现流量缝合，包括：

6.根据权利要求5所述的基于负载均衡连接信息与旁路流量实现流量缝合的方法，其特征在于，在步骤S300中，所述基于所述负载均衡连接表信息和所述流量与指标信息，实现流量缝合，还包括：

S331、将展示结果发送至用户端。

7.一种实现权利要求1-6中任一项所述的基于负载均衡连接信息与旁路流量实现流量缝合的方法的装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述负载均衡设备，还用于：

9.根据权利要求7所述的装置，其特征在于，还包括：

所述交换机电连接所述负载均衡设备。

10.一种流量缝合平台，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至6中任意一项所述的基于负载均衡连接信息与旁路流量实现流量缝合的方法。