CN113364624A - 基于边缘计算的混合云流量采集方法和系统 - Google Patents

Abstract

本发明提供了一种基于边缘计算的混合云流量采集方法和系统，包括：步骤1：将子网采集的网络数据包通过协议封装发送到节点，节点识别并剥离封装协议后，将网络数据包传递给解码模块；步骤2：解码模块根据网络数据包的地址和解码协议对应表，加载对应协议解码器以及解码配置，得到网络数据包对应协议的结构化原始记录；步骤3：根据网络数据包对应协议的指标配置，对原始记录中的字段进行提取过滤聚合计算，得到多维度指标统计数据；步骤4：根据多维度指标统计数据，进行业务指标分析和设置告警规则，得到依据告警规则生成的告警记录。本发明基于网络流量监控是计算密集型应用，将计算负载分散到各个子网中，降低处理延迟，提高监控的实时性。

Description

基于边缘计算的混合云流量采集方法和系统

技术领域

本发明涉及数据处理技术领域，具体地，涉及一种基于边缘计算的混合云流量采集方法和系统。

背景技术

采集分析网络流量对运行业务进行实时监控和分析是目前很多企业尤其是金融行业常用的运维监控手段，网络流量采集是所有流量监控和分析的基础。

随着云服务在我国各行业中的占比越来越大，企业云化比例逐年提升，并且大部分多是混合云环境，包括本地部署的私有云以及使用云服务商所提供的云基础设施、还涉及容器云环境，另外很多大型企业还保留了原有的物理环境。大量异构网络增加了网络流量采集的实施难度。主要体现在以下几个方面：

1)不同云环境下网络流量采集方案。

2)各异构网络下采集的网络流量汇聚，流量数据传输延迟以及处理延迟。

3)如何尽可能减少对业务运行资源的占用。

因此需要一种高效、安全、适用面广的流量采集方法，保证业务监控的实时性以及资源利用的高效。

专利文献CN111998917A(申请号：CN201910445621.3)公开了一种网状流量传感器系统及其使用方法，网状流量传感器系统包括计算服务端、多个流量传感器和误差参考标准，具体的：计算服务端利用待测量的流量守恒系统建立数学模型，并在待测量的流量守恒系统中指定或者建立一个误差参考标准装置并赋予其参考误差值；计算得到所有流量传感器的参照测量误差值；利用的参照测量误差值补偿对应的的原始测量数据，得到各流量传感器相对于误差参考标准装置的参考误差值的等误差数据。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于边缘计算的混合云流量采集方法和系统。

根据本发明提供的基于边缘计算的混合云流量采集方法，包括：

步骤1：将子网采集的网络数据包通过协议封装发送到节点，节点识别并剥离封装协议后，将网络数据包传递给解码模块；

步骤2：解码模块根据网络数据包的地址和解码协议对应表，加载对应协议解码器以及解码配置，得到网络数据包对应协议的结构化原始记录；

步骤3：根据网络数据包对应协议的指标配置，对原始记录中的字段进行提取过滤聚合计算，得到多维度指标统计数据；

步骤4：根据多维度指标统计数据，进行业务指标分析和设置告警规则，得到依据告警规则生成的告警记录。

优选的，所述步骤1包括：

步骤1.1：接收子网中所有流量采集控制器的注册请求，协商网络数据包封装协议，定时发送心跳信息以确定流量采集控制器状态；

步骤1.2：接收子网采集的网络数据包，对封装产生的IP分片包进行拼包处理，然后识别网络数据包的封装格式，按照封装协议剥离封装层；

步骤1.3：本地磁盘存储原始数据包，同时按源目标地址端口生成索引数据并保存，便于通过时间段、源目标地址查询并提取原始数据包。

优选的，所述步骤2包括：

步骤2.1：边缘计算节点接收来自监控分析平台下发的协议配置，生成流量数据包地址与解码协议对应表，同时生成流量过滤规则并下发子网所有流量采集控制器；

步骤2.2：解码模块按照数据包源目标地址端口匹配解码协议，调用对应的协议解码模块对原始数据包进行解码，将原始数据包解析成结构化的记录，以kv结构记录各字段信息；

步骤2.3：本地磁盘存储结构化记录，依据协议中索引字段的配置生成索引数据，便于通过时间段、制定索引字段值查询并提取原始记录。

优选的，所述步骤3包括：

步骤3.1：协议指标字段配置保存该协议需要生成的指标字段列表，依据配置的字段列表生成每个字段对应的维度统计数据，以进行指标维度分析和业务性能信息挖掘；

步骤3.2：根据协议设置的指标字段列表进行提取、过滤、聚合计算，以分钟级别生成多维度指标数据，并保存到本地数据库；

步骤3.3：将指标数据压缩后，以TCP方式发送给监控分析中心，用于展示以及进一步计算处理。

优选的，所述步骤4包括：

步骤4.1：对指标字段值设置阈值告警和基线告警；

步骤4.2：根据预设告警算法匹配告警配置，生成实时告警数据，并将告警数据以TCP方式发送监控分析中心，同时将生成的告警记录保存至本地数据库。

根据本发明提供的基于边缘计算的混合云流量采集系统，包括：

模块M1：将子网采集的网络数据包通过协议封装发送到节点，节点识别并剥离封装协议后，将网络数据包传递给解码模块；

模块M2：解码模块根据网络数据包的地址和解码协议对应表，加载对应协议解码器以及解码配置，得到网络数据包对应协议的结构化原始记录；

模块M3：根据网络数据包对应协议的指标配置，对原始记录中的字段进行提取过滤聚合计算，得到多维度指标统计数据；

模块M4：根据多维度指标统计数据，进行业务指标分析和设置告警规则，得到依据告警规则生成的告警记录。

优选的，所述模块M1包括：

模块M1.1：接收子网中所有流量采集控制器的注册请求，协商网络数据包封装协议，定时发送心跳信息以确定流量采集控制器状态；

模块M1.2：接收子网采集的网络数据包，对封装产生的IP分片包进行拼包处理，然后识别网络数据包的封装格式，按照封装协议剥离封装层；

模块M1.3：本地磁盘存储原始数据包，同时按源目标地址端口生成索引数据并保存，便于通过时间段、源目标地址查询并提取原始数据包。

优选的，所述模块M2包括：

模块M2.1：边缘计算节点接收来自监控分析平台下发的协议配置，生成流量数据包地址与解码协议对应表，同时生成流量过滤规则并下发子网所有流量采集控制器；

模块M2.2：解码模块按照数据包源目标地址端口匹配解码协议，调用对应的协议解码模块对原始数据包进行解码，将原始数据包解析成结构化的记录，以kv结构记录各字段信息；

模块M2.3：本地磁盘存储结构化记录，依据协议中索引字段的配置生成索引数据，便于通过时间段、制定索引字段值查询并提取原始记录。

优选的，所述模块M3包括：

模块M3.1：协议指标字段配置保存该协议需要生成的指标字段列表，依据配置的字段列表生成每个字段对应的维度统计数据，以进行指标维度分析和业务性能信息挖掘；

模块M3.2：根据协议设置的指标字段列表进行提取、过滤、聚合计算，以分钟级别生成多维度指标数据，并保存到本地数据库；

模块M3.3：将指标数据压缩后，以TCP方式发送给监控分析中心，用于展示以及进一步计算处理。

优选的，所述模块M4包括：

模块M4.1：对指标字段值设置阈值告警和基线告警；

模块M4.2：根据预设告警算法匹配告警配置，生成实时告警数据，并将告警数据以TCP方式发送监控分析中心，同时将生成的告警记录保存至本地数据库。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明基于边缘计算架构，采用靠近数据源侧完成原始数据包采集、过滤、解码、多维统计以及告警计算方案，避免各子网之间低效的数据流动，最终在网间只传输指标统计、告警数据以及必要的原始数据，极大降低了云环境的网络负载；

(2)本发明基于网络流量监控是计算密集型应用，将计算负载分散到各个子网中，降低处理延迟，提高监控的实时性；

(3)本发明边缘计算节点以子网为处理单元，更容易估算处理能力和资源需求，从而提高资源分配效率；

(4)本发明一种通用方案，部署灵活高效，能适应混合云复杂的网络架构和环境，支持用户全网流量监控的需求。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明整体部署框图；

图2为边缘计算节点流程框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

考虑到混合云环境流量采集的特点，本发明基于边缘计算技术，在混合云每个子网中部署边缘计算节点，用于接收和处理本子网采集的流量数据。

整体部署图参考图1。

一、本方法关键模块：

1、流量采集控制器，混合云中每台宿主机都会部署一个流量采集控制器，主要功能有：

1)接受该宿主机中部署的流量采集代理注册请求，并监视其状态；

2)自动发现并注册到网络中的边缘计算节点，接收边缘计算节点下发的配置并应用；

3)采用虚拟机或K8s Pod探针模式向流量采集代理或转发配置，配置包括：流量过滤规则、流量转发协议、流量转发目的地；

4)采用OpenStack和OVS流表模式向虚拟交换机下发流表配置以及流量采集转发规则，采用流量采集转发规则进行流量过滤，过滤方式包括网络协议、IP地址、端口、vlanId等；

5)采用K8s和Calico iptables模式配置宿主机iptables实现流量采集转发规则。

2、边缘计算节点，混合云子网中部署边缘计算节点，主要功能有：

1)接收子网中所有流量采集控制器的注册请求，并监控其状态。

2)接收监控分析中心下发的协议配置，生成：

流量采集过滤规则：转发子网中流量采集控制器；

数据包解码规则：配置相应解码器；

统计数据维度规则：用来生成实时统计数据。

3)接收监控分析中心下发的告警规则，用来生成实时告警数据。告警规则是基于维度统计数据设置的，协议配置中的每个字段都可以配置告警阈值，例如：某个方向流量响应率低于某个阈值；某些交易数据失败率(某些字段出现表征失败的字段值比率)高于某个阈值；告警规则还可以配置多个字段组合阈值以及判断条件，目的就是能实时发现应用的问题，及时发出预警。

4)汇聚接收子网中采集网络数据包，实时解码。

5)生成并上传监控分析中心实时告警数据。

6)生成并上传监控分析中心实时统计数据。

7)接收监控分析中心的查询请求并回复结果。

二、边缘计算节点关键处理步骤，参考图2。

步骤1：接收子网中采集的网络数据包，子网采集的网络数据包通过GRE、VxLan、MPLS等协议封装发送到节点，节点识别封装协议，剥离封装协议，最后传递给解码模块。

步骤2：解码数据包，解码模块根据数据包地址和解码协议对应表，加载对应的协议解码器以及相应的解码配置。本步骤输入是网络数据包，输出为数据包对应协议的结构化原始记录。

步骤3：指标提取，按照对应协议的指标配置，针对原始记录中指定的多个字段提取过滤聚合计算，从而生成多维度的指标统计数据。本步骤输入是步骤2生成的结构化原始记录，输出是所有协议多维度的指标统计数据。提取过滤聚合计算是指从原始记录中提取需要做聚合统计的字段以及值(可以是多个字段)，根据字段值对原始记录进行聚合统计，例如根据原始记录的源和目标IP地址两个字段进行聚合统计，就可以获取每个源和目标地址对的数量、响应率、平均响应时间以及响应成功率等指标数据。通过这部分运算可以将原始记录数据转换成维度统计指标数据，作为业务指标分析、告警的输入。

步骤4：告警处理，告警规则可以针对单一协议的指标统计数据，也可以结合多协议指标统计数据。本步骤输入是步骤3生成的所有协议多维度的指标统计数据，输出是依据告警规则生成的告警记录。

其中，步骤1包括如下步骤：

步骤1.1：接收子网中所有流量采集控制器的注册请求，协商网络数据包封装协议(GRE/VxLan/MPLS)，定时发送心跳信息以确定流量采集控制器状态。

步骤1.2：接收子网采集的网络数据包，由于针对原始业务数据包进行了封装，会产生大量的IP分片包，因此需要对于IP分片包进行拼包处理。然后识别网络数据包的封装格式，按照封装协议剥离封装层。

步骤1.3：本地磁盘存储原始数据包，同时按源目标地址端口生成索引数据并保存，以便之后可以通过时间段、源目标地址快速查询并提取原始数据包。原始数据包通过共享内存方式发送给后续解码模块。

步骤2包括如下步骤：

步骤2.1：协议配置同步，边缘计算节点接收来自监控分析平台下发的协议配置，生成流量数据包地址与解码协议对应表，同时生成流量过滤规则并下发子网所有流量采集控制器。

步骤2.2：解码模块接收前序环节发送的原始数据包，按照数据包源目标地址端口匹配解码协议，调用对应的协议解码模块对原始数据包进行解码，需要解析的字段由协议配置确定。将原始数据包解析成结构化的记录，以kv结构记录各字段信息。

步骤2.3：本地磁盘存储结构化记录，依据协议中索引字段的配置生成索引数据，以便之后可以通过时间段、制定索引字段值快速查询并提取原始记录。原始记录同样通过共享内存方式发送给后续指标提取模块。

步骤3包括如下步骤：

步骤3.1：协议配置同步，协议指标字段配置保存该协议需要生成的指标字段列表，依据配置的字段列表生成每个字段对应的维度统计数据，这些统计数据可以用作指标维度分析，挖掘业务性能信息。

步骤3.2：指标提取模块接收前序环节发送的原始记录，依据协议设置的指标字段列表，分别对这些字段进行提取、过滤、聚合计算，以分钟级别生成多维度的指标数据，保存到本地数据库。

步骤3.3：生成的指标数据压缩后，以TCP方式发送给监控分析中心用于展示以及进一步计算处理。同时指标数据通过共享内存方式发送给后续告警处理模块做告警分析用。

步骤4包括如下步骤：

步骤4.1：告警配置同步，主要是针对指标字段值设置阈值告警、基线告警等，告警可以是多协议多字段的组合告警。

步骤4.2：告警模块接收前序环节送来的多维度指标数据，依照告警算法，匹配告警配置，生成实时告警数据，以TCP方式发送监控分析中心。同时生成的告警记录保存本地数据库。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于边缘计算的混合云流量采集方法，其特征在于，包括：

步骤1：将子网采集的网络数据包通过协议封装发送到节点，节点识别并剥离封装协议后，将网络数据包传递给解码模块；

步骤2：解码模块根据网络数据包的地址和解码协议对应表，加载对应协议解码器以及解码配置，得到网络数据包对应协议的结构化原始记录；

步骤3：根据网络数据包对应协议的指标配置，对原始记录中的字段进行提取过滤聚合计算，得到多维度指标统计数据；

步骤4：根据多维度指标统计数据，进行业务指标分析和设置告警规则，得到依据告警规则生成的告警记录。

2.根据权利要求1所述的基于边缘计算的混合云流量采集方法，其特征在于，所述步骤1包括：

步骤1.1：接收子网中所有流量采集控制器的注册请求，协商网络数据包封装协议，定时发送心跳信息以确定流量采集控制器状态；

步骤1.2：接收子网采集的网络数据包，对封装产生的IP分片包进行拼包处理，然后识别网络数据包的封装格式，按照封装协议剥离封装层；

步骤1.3：本地磁盘存储原始数据包，同时按源目标地址端口生成索引数据并保存，便于通过时间段、源目标地址查询并提取原始数据包。

3.根据权利要求1所述的基于边缘计算的混合云流量采集方法，其特征在于，所述步骤2包括：

步骤2.1：边缘计算节点接收来自监控分析平台下发的协议配置，生成流量数据包地址与解码协议对应表，同时生成流量过滤规则并下发子网所有流量采集控制器；

步骤2.2：解码模块按照数据包源目标地址端口匹配解码协议，调用对应的协议解码模块对原始数据包进行解码，将原始数据包解析成结构化的记录，以kv结构记录各字段信息；

步骤2.3：本地磁盘存储结构化记录，依据协议中索引字段的配置生成索引数据，便于通过时间段、制定索引字段值查询并提取原始记录。

4.根据权利要求1所述的基于边缘计算的混合云流量采集方法，其特征在于，所述步骤3包括：

步骤3.1：协议指标字段配置保存该协议需要生成的指标字段列表，依据配置的字段列表生成每个字段对应的维度统计数据，以进行指标维度分析和业务性能信息挖掘；

步骤3.2：根据协议设置的指标字段列表进行提取、过滤、聚合计算，以分钟级别生成多维度指标数据，并保存到本地数据库；

步骤3.3：将指标数据压缩后，以TCP方式发送给监控分析中心，用于展示以及进一步计算处理。

5.根据权利要求1所述的基于边缘计算的混合云流量采集方法，其特征在于，所述步骤4包括：

步骤4.1：对指标字段值设置阈值告警和基线告警；

步骤4.2：根据预设告警算法匹配告警配置，生成实时告警数据，并将告警数据以TCP方式发送监控分析中心，同时将生成的告警记录保存至本地数据库。

6.一种基于边缘计算的混合云流量采集系统，其特征在于，包括：

模块M1：将子网采集的网络数据包通过协议封装发送到节点，节点识别并剥离封装协议后，将网络数据包传递给解码模块；

模块M2：解码模块根据网络数据包的地址和解码协议对应表，加载对应协议解码器以及解码配置，得到网络数据包对应协议的结构化原始记录；

模块M3：根据网络数据包对应协议的指标配置，对原始记录中的字段进行提取过滤聚合计算，得到多维度指标统计数据；

模块M4：根据多维度指标统计数据，进行业务指标分析和设置告警规则，得到依据告警规则生成的告警记录。

7.根据权利要求6所述的基于边缘计算的混合云流量采集系统，其特征在于，所述模块M1包括：

模块M1.1：接收子网中所有流量采集控制器的注册请求，协商网络数据包封装协议，定时发送心跳信息以确定流量采集控制器状态；

模块M1.2：接收子网采集的网络数据包，对封装产生的IP分片包进行拼包处理，然后识别网络数据包的封装格式，按照封装协议剥离封装层；

模块M1.3：本地磁盘存储原始数据包，同时按源目标地址端口生成索引数据并保存，便于通过时间段、源目标地址查询并提取原始数据包。

8.根据权利要求6所述的基于边缘计算的混合云流量采集系统，其特征在于，所述模块M2包括：

模块M2.1：边缘计算节点接收来自监控分析平台下发的协议配置，生成流量数据包地址与解码协议对应表，同时生成流量过滤规则并下发子网所有流量采集控制器；

模块M2.2：解码模块按照数据包源目标地址端口匹配解码协议，调用对应的协议解码模块对原始数据包进行解码，将原始数据包解析成结构化的记录，以kv结构记录各字段信息；

模块M2.3：本地磁盘存储结构化记录，依据协议中索引字段的配置生成索引数据，便于通过时间段、制定索引字段值查询并提取原始记录。

9.根据权利要求6所述的基于边缘计算的混合云流量采集系统，其特征在于，所述模块M3包括：

模块M3.1：协议指标字段配置保存该协议需要生成的指标字段列表，依据配置的字段列表生成每个字段对应的维度统计数据，以进行指标维度分析和业务性能信息挖掘；

模块M3.2：根据协议设置的指标字段列表进行提取、过滤、聚合计算，以分钟级别生成多维度指标数据，并保存到本地数据库；

模块M3.3：将指标数据压缩后，以TCP方式发送给监控分析中心，用于展示以及进一步计算处理。

10.根据权利要求6所述的基于边缘计算的混合云流量采集系统，其特征在于，所述模块M4包括：

模块M4.1：对指标字段值设置阈值告警和基线告警；

模块M4.2：根据预设告警算法匹配告警配置，生成实时告警数据，并将告警数据以TCP方式发送监控分析中心，同时将生成的告警记录保存至本地数据库。

Images