CN113505040B - 一种网络功能过载诊断的方法、模型训练方法与系统 - Google Patents

Abstract

本发明提供一种用于网络功能过载诊断模型的训练方法，包括以下步骤：步骤100：获得静态变量环境下的不同动态变量环境下的延迟和硬件指标；步骤200：根据所述延迟对所获得的硬件指标进行分类；步骤300：对每种动态变量环境下的所述硬件指标根据其与过载诊断的关联度进行筛选；步骤400：对同一静态变量环境下的不同动态变量环境下筛选出的硬件指标进行合并，形成供训练用的数据集；步骤500：使用所述数据集训练所述过载诊断模型。相对于已有的网络功能过载诊断方法，本方法具有诊断准确率高、数据测量简单和可以进行根因分析的优点。

Description

一种网络功能过载诊断的方法、模型训练方法与系统

技术领域

本发明涉及网络功能虚拟化技术，特别涉及网络功能过载诊断技术。

背景技术

随着网络技术的不断发展，传统网络中的专用硬件网络设备可扩展性和灵活性较差，无法满足当前网络对服务进行快速更改和灵活部署的要求。此外，专用硬件网络设备的运维困难，不同的设备需要不同的专业人员进行维护，难以进行统一的管理和维护。为了应对上述挑战，ETSI(European Telecommunication Standard Institute，欧洲电信标准化协会)提出了NFV技术。如图1所示，NFV将传统硬件网络设备的功能软件化，并通过虚拟化技术，以动态的方式部署在虚拟机或者容器中。

在为网络部署带来灵活性和可扩展性的同时，NFV还存在一些性能问题。由于NFV中大量使用了软件化和虚拟化等技术并且放弃了专用硬件加速，因此数据平面的性能一直是NFV在工业界广泛应用的限制之一。因此，提高NFV数据平面性能就成为NFV面临的一个巨大挑战。图2展示了网络功能服务链(Service Function Chain，SFC)的常规部署方式，在这种情况下一旦有一个网络功能处于过载状态，会导致整个网络功能服务链的服务质量受到严重影响。因此，需要有一种网络功能过载诊断方法可以实时准确地来诊断网络功能的实例及其所部署的环境是否处于过载诊断。

现有的网络功能过载诊断工作主要有基于CPU、内存等硬件指标进行过载诊断；基于丢包率、延迟和吞吐等应用层指标进行过载诊断；两类指标结合共同进行过载诊断三种方向。在NFV和SDN技术普及之前，工业界和学术界研发了很多针对传统网络设备的性能探测工具。Traceroute通过部署探针，跟踪数据包的路径，进而得到数据包经过的网络的拓扑结构等信息，用于性能分析。Tomography用来预测链路层端到端多播的丢失率，来进行链路级的性能分析。除此之外，还有探测路径最大MTU的RFC 1191、基于NetFlow的网络性能分析以及sFlow等网络监控系统等等。与硬件指标相比，应用层指标也更能反映网络的真实服务质量，NFVPerf通过设置数据包端口镜像转发来采集数据包并计算每一跳之间的吞吐以及延迟，并以此来进行过载诊断。NetAlytics通过在物理机内部部署探针来计算数据包延迟，进而进行过载诊断。应用层指标可以很好的反映网络的真实服务质量，而硬件指标可以反映NF真实的运行状态，因此出现了一系列两类指标结合的网络功能过载诊断工作。Microscope采集每个NF中队列排队信息和数据包的延迟信息，来进行网络功能服务链的过载NF和流的定位，找到造成整个服务链过载的具体NF和流。

以上三类方法都有各自的不足之处：由于NFV部署环境复杂，基于硬件指标的网络功能过载诊断工作在NFV环境下诊断准确率较低；应用层指标可以准确反映网络功能服务质量，但是线上测量开销大且测量不准确，而且应用层指标不能对网络功能进行过载根因定位；两类指标结合的过载诊断工作数据测量方便且诊断准确，但是并不是针对单个网络功能的过载诊断工作，也就无法进行网络功能过载根因分析。

通过以上分析，可以发现现有网络功能过载诊断方法都有各自的缺陷，所以需要设计一种新的网络功能过载诊断方法，对网络功能进行过载根因定位和实时准确的过载诊断。

发明内容

本发明针对上述问题，根据本发明的第一方面，提出一种用于网络功能过载诊断模型的训练方法，包括以下步骤：

步骤100：获得静态变量环境下的不同动态变量环境下的延迟和硬件指标；

步骤200：根据所述延迟对所获得的硬件指标进行分类；

步骤300：对每种动态变量环境下的所述硬件指标根据其与过载诊断的关联度进行筛选；

步骤400：对同一静态变量环境下的不同动态变量环境下筛选出的硬件指标进行合并，形成供训练用的数据集；

步骤500：使用所述数据集训练所述过载诊断模型。

在本发明的一个实施例中，其中所述延迟为一段测试时间范围内所有包的平均延迟。

在本发明的一个实施例中，其中，步骤200中，根据所述延迟将采集的硬件指标分为非过载、相对过载和绝对过载三类。

在本发明的一个实施例中，其中步骤300中使用XGBOOST对硬件指标打分作为相关度，筛选出得分高于预定阈值的前N个硬件指标,其中N为预先设定的正整数。

在本发明的一个实施例中，在使用XGBOOST对硬件指标打分前，去除掉明显与过载诊断无关的硬件指标。

在本发明的一个实施例中，根据筛选出的得分高于预定阈值的前N个硬件指标分析过载时的资源限制。

在本发明的一个实施例中，其中步骤100包括使用Prometheus采集硬件指标。

在本发明的一个实施例中，其中步骤400中，对步骤300筛选出的不同动态变量环境下的硬件指标取并集进行合并。

根据本发明的第二方面，提供一种计算机可读存储介质，其中存储有一个或者多个计算机程序，所述计算机程序在被执行时用于实现本发明的用于网络功能过载诊断模型的训练方法。

根据本发明的第三方面，提供一种用于网络功能过载诊断的方法，包括：

步骤1000，采集网络的硬件指标；

步骤2000，对所述网络的硬件指标，进行预处理和数据筛选；

步骤3000，基于所述预处理和数据筛选后的硬件指标，利用本发明的用于网络功能过载诊断模型的训练方法产生的网络功能过载诊断模型进行过载诊断。

根据本发明的第四方面，提供一种用于生成网络功能过载诊断模型的系统，包括数据测量模块、数据处理模块、指标合并模块和模型生成模块，其中，

所述数据测量模块用于采集硬件指标和测量对应时刻的数据包延迟信息，对数据进行打标签和筛选，

所述数据处理模块用于接收数据测量模块处理后的数据，并对数据进行预筛选和特征选择，得到该网络功能在该动态变量环境下的TOP N硬件指标，

所述指标合并模块用于接收同一个网络功能在不同动态变量环境下筛选出的不同TOP N指标，合并不同的指标生成统一的硬件指标组Φ，并以此生成训练数据集，

所述模型生成模块接收训练集并基于此调整参数，离线训练出网络功能过载诊断模型。

根据本发明的第五方面，提供一种计算系统，包括：

存储装置、以及一个或者多个处理器；

其中，所述存储装置用于存储一个或者多个计算机程序，所述计算机程序在被所述处理器执行时用于实现本发明的用于网络功能过载诊断模型的训练方法。

相对于已有的网络功能过载诊断方法，本方法具有诊断准确率高、数据测量简单和可以进行根因分析的优点。本方法离线时以延迟指标作为过载依据对硬件指标进行分类，解决了仅使用硬件指标无法准确反映NFV环境下的网络服务质量的问题；之后使用硬件指标数据集训练网络功能过载诊断模型，在进行在线诊断时仅使用通用硬件指标即可，解决了应用层指标测量困难且不准确的问题；此外，本方法还可以使用指标筛选后的数据进行网络功能过载根因定位。因此，与已有的基于硬件指标的网络功能过载诊断方法相比诊断准确率更高；与已有的基于应用层指标的网络功能过载诊断方法相比数据测量开销小且具有普适性；与已有的基于两类指标结合的网络功能过载诊断方法相比本方法仅需针对单个网络功能即可进行过载诊断，且可以进行过载根因定位。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了传统网络设备和NFV；

图2示出了网络功能服务链常规部署方式；

图3示出了网络功能过载诊断流程图；

图4示出了网络功能过载诊断系统架构示意图；

图5示出了实验平台环境示意图；

图6示出了构造的UDP数据包；

图7示出了Snort无规则集环境下过载诊断效果；

图8示出了Snort使用Community Rules环境下过载诊断效果；

图9示出了Snort多虚拟机竞争环境下过载诊断效果。

具体实施方式

针对背景技术中指出的现有技术过载诊断准确率低或线上测量困难且无法进行过载根因定位的问题，发明人进行了研究，并提出了一种基于通用硬件指标的过载诊断方法及系统，通过量化构建的过载场景和AI技术构建应用指标和硬件指标的在各类过载和正常状态下的映射模型，线上仅通过通用硬件指标进行网络功能过载诊断。所述方法为一种硬件指标与应用层指标的映射建立和指标筛选方法。以延迟指标作为过载依据通过XGBoost算法对Prometheus采集到的硬件指标进行筛选和过载相关度排序，构造了用于网络功能过载诊断模型训练的硬件指标数据集并进行根因分析。

图3示出根据本发明的一个实施例的流程，其将某一环境中相对不变的参数作为静态变量，将相对来说变化较多的环境变量作为动态变量，在一种静态变量环境下生成一个网络功能过载诊断模型。例如，静态变量为使用的IO方式、NF类型和虚拟化技术，动态变量则是资源规模、规则集特征和流量特征。首先，采集静态变量环境下的不同动态变量环境下的延迟和硬件指标；然后根据延迟对采集的硬件指标进行分类；之后对每种动态变量环境下的硬件指标预筛选并使用XGBoost算法进行特征选择，得到每种动态变量环境下的指标筛选结果，并以此构造出初步的数据集和进行网络功能过载根因定位；之后使用指标合并方法，得到用于过载诊断的硬件指标组；此后，使用合并后的数据集离线训练网络功能过载诊断模型；最后，在线部署网络功能过载诊断模型，使用通用硬件指标完成网络功能过载诊断。

以下为本发明的一个实施例，为使实验环境更真实，本发明使用Snort构建了实验场景，使用了Snort的网络入侵检测功能，Snort捕获数据包后，解析数据包，并根据预先设定的规则(rule)进行检测，检测数据包中是否包含有入侵行为，本发明分别测试了Snort设定规则与不设定规则的场景。此外，本发明基于开源软件Click Modular Router编写了发送数据包模块Click send与接收数据包模块Click recv。图4示出了所搭建的平台，使用了两台常用的服务器，48核Intel(R)Xeon(R)Silver 4214CPU、32G内存、1T硬盘、两块40G光模块网卡。Host 1中部署了基于Click Modular Router开发的收发包模块以及本文实现的过载诊断系统。Host 2部署了虚拟交换机、部署了NF的虚拟机以及收集硬件指标的探针。两台服务器之间使用光缆连接。同样为了模拟真实部署环境，在虚拟机交换机方面使用了DPDK+OVS的常规配置。探针使用了Prometheus的常规部署方法——部署在物理机中，使用http请求尝试拉取VM的硬件指标统计信息。在实验过程中，数据包按单点划线的箭头流动。由Host1中的Click send模块发送真实数据包或构造的测量数据包，并对测量数据包打上发送时间戳；Host 2中对应的网卡接收到数据包后，由OVS转发到对应的虚拟机中；虚拟机的虚拟网卡在收到数据包后，按照每个NF不同的功能处理数据包后，再发送到OVS上；OVS将收到的数据包转发到Host 2的出口网卡；部署在Host 1的Click recv在收到数据包后，识别如图5所示的测量数据包并对其打上接收时间戳，以两个时间戳之间的差值来近似代替NF的处理延迟。过载诊断所需要的统计信息按照双点划线的箭头流动。过载诊断系统在测试期间实时从部署在Host 2中的探针处获取虚拟机的硬件统计信息；同时，实时从Click recv处获取数据包并计算延迟。在收集到数据后，进行数据处理、指标合并得到训练集并训练过载诊断模型。此后，使用训练出的过载诊断模型完成过载诊断工作。

对于Snort而言，静态变量是使用的IO方式、NF类型和虚拟化技术，动态变量则是资源规模、规则集特征和流量特征。因此，Snort使用的测试环境变量如表1所示，表1中的4个环境属于一种静态变量环境。

表1 NF测试环境

在确定动态环境变量后，量化构建的过载场景，使用数据测量模块测量不同场景下得到延迟并使用Prometheus采集硬件统计信息。量化构建过载场景，是指在虚拟机占用不同大小的资源的情况下，通过改变流量大小，构造不同的过载状态。之后，在每种状态下测量其平均延迟，并以延迟为标准对Prometheus采集到的硬件指标进行分类，得到初步数据集。延迟是一段测试时间范围内所有包的平均延迟，这个数据是通过人工构造不同大小的流量，对其中的每一个包测量延迟并求均值得到的，所以每一个延迟对应一个时间段的所有数据包的平均延迟。根据测试结果，Snort在非过载、相对过载和绝对过载3种状态下的延迟变化幅度很大，非过载情况下小于1ms，相对过载情况下为10ms左右，绝对过载情况下为1s左右。根据延迟，就可以把这一个时间段的所有采集的硬件指标进行分类，例如分为非过载、相对过载与绝对过载三类,即分别打上非过载、相对过载与绝对过载三个标签中的一个。

此后，将不同动态变量环境下的打过标签后的数据进行数据的预筛选。预筛选是指主动去除掉明显与过载诊断无关的硬件指标，可以人工去除掉与过载诊断无关的指标，也可以使用关键字匹配去除。然后进行特征选择，特征选择通过对相关度得分排序进行，相关度得分由XGBOOST给出，选择每种动态变量环境下相关度得分大于一定阈值的前N个硬件指标，例如可以预定阈值为10％，其中N为预先设定的正整数。

接下来对不同指标进行合并，指标合并指的是对筛选出的指标取并集。例如，在静态变量a环境下，动态变量d1下，将正常、相对过载和绝对过载的数据全部进行预筛选和特征选择后，可以得到一组指标筛选结果r1；静态变量a环境下，动态变量d2下，可以得到另一组指标筛选结果r2。取r1和r2的并集，就是静态变量a环境下的指标筛选结果。

Snort的指标筛选结果如表2所示，Snort进程组上下文切换速度与CPU性能相关，系统已分配内存、Snort所在进程组占用内存大小等内存相关指标与内存相关，由于硬件指标每隔一段时间采集，因此Snort进程组上下文切换次数越多Snort进程组上下文切换速度越快。这些指标被筛选出来就代表他们对Snort过载的影响较大。因此通过对指标筛选结果进行分析得出Snort过载时的资源限制是CPU性能和内存。

表2 Snort指标筛选结果

基于此，本发明的架构如图6所示，过载诊断系统主要包括离线模型生成子系统和在线过载诊断子系统。离线模型生成子系统包括数据测量、数据处理、指标合并和模型生成4个子模块。其中，数据测量模块主要负责采集硬件指标和测量对应时刻的数据包延迟信息，对数据进行打标签和筛选；数据处理模块主要负责接收数据测量模块的处理后的数据，并对数据进行预筛选和特征选择，得到该网络功能在该动态变量环境下的TOP N硬件指标；指标合并模块主要负责接收同一个网络功能在不同动态变量环境下筛选出的不同TOP N指标，合并不同的指标生成统一的硬件指标组Φ，并以此生成训练数据集；模型生成模块接收训练集并基于此调整参数，离线训练出网络功能过载诊断模型。在线过载诊断子系统通过部署离线模型生成子系统生成的诊断模型，采集硬件指标，经过预处理和数据筛选后进行过载诊断。

为了提高过载诊断模型在不同环境下的泛化能力，将所有动态变量环境下筛选出的指标输入到指标合并模块进行指标合并，同时筛选出最终的训练数据集。最后，将训练集输入到模型生成模块，进行参数调优和模型训练即可离线训练出网络功能过载诊断模型。将此模型部署在线上环境中，就可以通过采集通用硬件指标进行在线的网络功能过载诊断。图7、图8分别展示了网络功能过载诊断系统对Snort在无规则集和使用communityrules时的诊断准确率，评估指标是precision、recall和F1-score。其中，precision指的是精确率，其含义是在被所有预测为正的样本中实际为正样本的概率，recall指的是召回率，其含义是在实际为正的样本中被预测为正样本的概率，F1-score是根据精确率和召回率算出来的，

F1-score＝(2*精确率*召回率)/(精确率+召回率)。

图9展示了网络功能过载诊断系统对Snort在多虚拟机竞争环境下的诊断准确率。其中，受测Snort的部署环境是100％峰值性能双核CPU、4G内存、使用Community Rules。背景流量1Kpps-50Kpps的背景网络功能为Snort，部署环境与受测Snort相同。80Kpps背景流量的背景网络功能为iptables，部署环境是100％峰值性能双核CPU、4G内存。可以看到无论是不同的动态变量环境还是多虚拟机竞争的环境下，网络功能过载诊断系统的诊断准确率均超过90％。

为使本领域任何普通技术人员能够实现或者使用本公开内容，上面围绕本公开内容进行了描述。对于本领域普通技术人员来说，对本公开内容进行各种修改是显而易见的，并且，本文定义的通用原理也可以在不脱离本公开内容的精神或保护范围的基础上适用于其它变型。此外，除非另外说明，否则任何方面和/或实施例的所有部分或一部分可以与任何其它方面和/或实施例的所有部分或一部分一起使用。因此，本公开内容并不限于本文所描述的例子和设计方案，而是与本文公开的原理和新颖性特征的最广范围相一致。

Claims (6)

1.一种基于Snort平台的用于网络功能过载诊断模型的训练方法，包括以下步骤：

步骤100：获得静态变量环境下的不同动态变量环境下的延迟和硬件指标，包括使用Prometheus采集硬件指标；

步骤200：根据所述延迟将所获得的硬件指标分为非过载、相对过载和绝对过载三类；

步骤300：对每种动态变量环境下的所述硬件指标根据其与过载诊断的关联度进行筛选，使用XGBOOST对硬件指标打分作为相关度，筛选出得分高于预定阈值的前N个硬件指标,N为预先设定的正整数，其中在使用XGBOOST对硬件指标打分前，去除掉明显与过载诊断无关的硬件指标，根据筛选出的得分高于预定阈值的前N个硬件指标分析过载时的资源限制；

步骤400：对同一静态变量环境下的不同动态变量环境下筛选出的硬件指标进行合并即对步骤300筛选出的不同动态变量环境下的硬件指标取并集进行合并，形成供训练用的数据集；

步骤500：使用所述数据集训练所述过载诊断模型。

2.根据权利要求1所述的方法，其中所述延迟为一段测试时间范围内所有包的平均延迟。

3.一种计算机可读存储介质，其中存储有一个或者多个计算机程序，所述计算机程序在被执行时用于实现如权利要求1或2所述的方法。

4.一种基于Snort平台的用于网络功能过载诊断的方法，包括：

步骤1000，采集网络的硬件指标；

步骤2000，对所述网络的硬件指标，进行预处理和数据筛选；

步骤3000，基于所述预处理和数据筛选后的硬件指标，利用权利要求1或2的方法产生的网络功能过载诊断模型进行过载诊断。

5.一种基于Snort平台的用于生成网络功能过载诊断模型的系统，包括数据测量模块、数据处理模块、指标合并模块和模型生成模块，其中，

所述数据测量模块用于采集硬件指标包括使用Prometheus采集硬件指标，和测量对应时刻的数据包延迟信息，对数据进行打标签包括将所获得的硬件指标分为非过载、相对过载和绝对过载三类，和筛选，

所述数据处理模块用于接收数据测量模块处理后的数据，并对数据进行预筛选和特征选择，得到该网络功能在动态变量环境下的TOP N硬件指标，使用XGBOOST对硬件指标打分作为相关度，筛选出得分高于预定阈值的前N个硬件指标,N为预先设定的正整数，其中在使用XGBOOST对硬件指标打分前，去除掉明显与过载诊断无关的硬件指标，根据筛选出的得分高于预定阈值的前N个硬件指标分析过载时的资源限制，

所述指标合并模块用于接收通过所述数据处理模块得到的同一个网络功能在不同动态变量环境下筛选出的不同TOP N指标，合并不同的指标生成统一的硬件指标组Φ，并以此生成训练数据集，

所述模型生成模块接收训练集并基于此调整参数，离线训练出网络功能过载诊断模型。

6.一种计算系统，包括：

存储装置、以及一个或者多个处理器；

其中，所述存储装置用于存储一个或者多个计算机程序，所述计算机程序在被所述处理器执行时用于实现如权利要求1或2所述的方法。