CN102957579A - 一种网络异常流量监测方法及装置 - Google Patents

Abstract

本发明公开了一种网络异常流量监测方法，属于信息安全技术领域。所述方法包括：捕获流经的网络数据流；根据网络数据流的产生时间，选择与当前时间最接近的n条网络数据流数据；所述n根据系统的计算能力确定；将捕获的n条网络数据流数据作为相关向量机的输入进行训练，建立数据模型；根据所述数据模型对当前的网络流量数据进行监测。本发明能提高分类监测的精度，使异常流量监测能更快速有效，保证较低误检率和错检率。

Description

一种网络异常流量监测方法及装置

技术领域

本发明涉及信息安全技术领域，特别涉及一种网络异常流量监测方法及装置。

背景技术

网络流量异常指网络中流量不规则的显著变化，如网络短暂拥塞、分布式拒绝服务攻击(DDoS，Distributed Denial ofService)、大范围扫描等本地事件或者网络路由异常等全局事件。网络流量异常的监测和分析对网络安全应急响应部门而言非常重要，但是由于宏观流量异常监测比较困难，需要从大量高维的富含噪声的数据中提取和解释异常模式，使得对于网络异常的监测和分析仍然是一个极大的挑战。为此，国内外的学术机构和企业提出了多种监测方法。

其中，基于阈值的监测方法，通过分析历史数据，建立正常的参考范围，超出此范围即判断为异常。这种方法操作简单，计算复杂度小。然而，作为一种实用的监测手段时，它需要结合网络流量特点进行修正和改进。基于统计的监测方法，通过建立统计学模型产生相应的监测方法，如一般似然比(GLR，generalized Likelihood Ratio)监测方法，它考虑两个相邻的时间窗口以及由这两个窗口构成的合并窗口，每个窗口都用自回归模型拟合，并计算各窗口序列残差的联合似然比，然后与某个预先设定的阈值T进行比较，当超过阈值T时，则认定该窗口边界为异常点。这种监测方法对于流量的突变监测比较有效，但是它的阈值不是自动选取，并且当异常持续长度超过窗口长度时，将出现部分失效。基于变换域进行流量异常监测方法，将时域的流量信号变换到频域或者小波域，然后依据变换后的空间特征进行异常监测。该方法的计算过于复杂，不适于在高速骨干网上进行实时监测。

此外，还有一些其它的监测方法，如主成分分析(PCA，Principal Component Analysis)方法，将源和目标之间的数据流高维结构空间进行PCA分解，归结到3个主成分上，以3个新的复合变量来重构网络流的特征，并以此发展出一套监测方法。基于Markov模型的网络状态转换概率监测方法，将每种类型的事件定义为系统状态，通过过程转换模型来描述所预测的正常的网络特征，当到来的流量特征与期望特征产生偏差时进行报警。LERAD监测方法基于网络安全特征的监测，通过对网络数据流进行分析得到流量属性之间的正常的关联规则，然后建立正常的规则集，在实际监测中对流量进行规则匹配，对违反规则的流量进行告警。这种方法能够对发生异常的地址进行定位，并对异常的程度进行量化，但需要大量正常模式下的纯净数据，因此在实际网络中不易实现。

总体来看，基于流量异常的监测方法有很多，但它们主要存在以下问题：

（1）准确度不高，特别是基于阈值的方法精确度比较差。由于网络入侵情况下的处理需要相当大的代价，所以漏检、错检的损失巨大。

（2）输出结果没有置信度，对一个只有50%可能被攻击的状态和99%可能被攻击的状态进行相同处理的风险差别是巨大的。

（3）无法应对在线采集所累计的海量网络数据流，日益增长的数据会使各种数据驱动方法的处理时间无限增长以至于无法实时地监测当前的网络情况。

（4）网络监测系统各种参数不能根据历史网络情况自适应调整。人工干预设定不仅消耗大量人力，还降低了系统的稳定性，一旦出现差错，结果将难以预测。

（5）处理高维数据效率低下。由于网络数据流一般由多种数据组合而成，对其进行分析的时间复杂度非常高，由此造成网络监测系统运行效率低下，不利于嵌入到各种硬件设备中。

近年来，基于统计分析的机器学习方法被引入到网络异常监测中，并成为当前热点之一。支持向量机(SVM，Support Vector Machine)由于其坚实的理论基础以及核(Kernel)方法所带来的众多优点成为异常监测一种重要方法，它解决了准确度和处理高维数据效率低下问题。基于SVM的网络流量监测系统可描述如下：

首先，使用数据预处理器对大量的审计数据进行处理或变换，其中包括数据采集、特征选择、数据转换功能，最终得到统一长度的数字向量。然后，SVM分类器对这些数字向量进行判别。最后输出判别结果，该结果可以作为最后的监测结果。为了提高系统的监测正确率，SVM网络流量监测系统还设计了决策响应功能，SVM分类器的结果输出给决策响应，决策响应通过设定判决准则，如发生数目、事件的百分比等，进行最终的判定。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

（1）进行监测时，SVM支持向量的个数随着训练样本的增大成线性增长，当训练样本很大的时候，一方面可能造成过度拟合历史数据而使泛化能力变弱，另一方面则浪费计算时间。

（2）无法得到概率式的监测输出，即预测结果没有置信度，仅为某一标签或者数值。

（3）必须人工设定部分参数的变化范围，设置不当会引起过拟合或者欠拟合等问题，该参数对结果有很大的影响。大部分的情况下，使用者都必须猜测各种可能值，才能找最好的结果。

（4）SVM所使用的核函数必须符合Mercer条件，核函数的选择范围被限定在了比较小的空间。

（5）支持向量机对噪声是比较敏感的。

现有技术中，尚没有一种低误检率、低错检率、带结果置信度输出、参数自动选择、高效的网络异常流量监测方案。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种网络异常流量监测方法及装置。所述技术方案如下：

一种网络异常流量监测方法，所述方法包括：

捕获流经的网络数据流；

根据网络数据流的产生时间，选择与当前时间最接近的n条网络数据流数据；所述n根据系统的计算能力确定；

将捕获的n条网络数据流数据作为相关向量机的输入进行训练，建立数据模型；

根据所述数据模型对当前的网络流量数据进行监测。

所述将捕获的网络数据流数据作为相关向量机的输入进行训练之前，还包括：

将所述网络数据流数据进行去噪处理。

所述将捕获的网络数据流数据作为相关向量机的输入进行训练，建立数据模型，包括：

为相关向量机选择核函数，将捕获的网络数据流数据的特征向量映射到高维空间；

在高维空间内，为所述核函数选择相应参数，迭代求解最优的权重分布；

根据所述权重分布，预测数据，建立数据模型。

所述核函数包括但不限于高斯核函数或多项式核函数。

所述为所述核函数选择相应参数，包括：

使用当前值x作为核函数参数，x取值0到无穷；通过核函数计算网络数据流数据之间的相似性并记录所有相似度；

统计所有在预设区间内的相似度的个数，并记录此个数n；

增加核函数参数x＝x＋Δx，其中，所述Δx为核参数增量；

增加迭代次数i=i+1；

若在当前时间的n小于前一时间的n，则取前一时间的值x作为核函数参数；

输出所述x作为核函数参数。

所述方法还包括：

将监测的当前的网络流量数据加入所述数据模型中，作为历史网络数据的数据模型。

所述根据所述数据模型对当前的网络流量数据进行监测，包括：

判断网络数据流的风险概率是否大于操作阈值，若是，输出相应概率和级别的风险预测，并根据风险预测情况采取相应的措施；否则，继续监测。

一种网络异常流量监测装置，所述装置包括捕获单元、筛选单元、数据处理单元和输出单元，其中，

所述捕获单元，用于捕获流经的网络数据流；

所述筛选单元，用于根据网络数据流的产生时间，选择与当前时间最接近的n条网络数据流数据；所述n根据计算能力确定；

所述数据处理单元，用于将捕获的n条网络数据流数据作为相关向量机的输入进行训练，建立数据模型；

所述输出单元，用于根据所述数据模型对当前的网络流量数据进行监测。

所述装置还包括去噪单元，用于将所述网络数据流数据进行去噪处理，削减高维噪声。

所述数据处理单元进一步包括映射子单元、参数选择子单元和预测子单元，其中，

所述映射子单元，用于为相关向量机选择核函数，将捕获的网络数据流数据的特征向量映射到高维空间；

所述参数选择子单元，用于在高维空间内，为所述核函数选择相应参数，迭代求解最优的权重分布；

所述预测子单元，用于根据所述权重分布，建立数据模型，预测数据。

本发明实施例提供的技术方案带来的有益效果是：

通过滚动时间窗口策略选择一定数量的网络数据流数据，将捕获的网络数据流数据作为相关向量机的输入进行训练，建立历史数据的数据模型，根据数据模型对当前的网络流量数据进行监测和预测。本发明实施例提供了一种低误检率、低错检率、带结果置信度输出、参数自动选择、高效的网络异常流量监测方案，能提高分类监测的精度，使异常流量监测能更快速有效，保证较低误检率和错检率。在解决准确度问题的基础上，借助贝叶斯概率的特点解决发生异常的概率输出问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的网络异常流量监测方法流程图；

图2是本发明实施例一提供的参数自动选择方法流程图；

图3是本发明实施例二提供的网络异常流量监测装置结构示意图；

图4是本发明实施例二提供的数据处理单元300结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

参见图1，为本实施例提供的网络异常流量监测方法原理流程图，具体如下：

步骤10，捕获流经的网络数据流。

本实施例中，对于网络异常流量的监控，首先需要对网络中的未知流量进行捕获，捕获的网络数据流数据一方面需要输入相关向量机进行训练，从而建立历史数据模型，通过数据模型来判断后续的网络数据流是否异常。另一方面，也需要不断的捕获当前通过的网络数据流，才能实时的预测网络流量的异常。

步骤20，根据网络数据流的产生时间，选择与当前时间最接近的n条网络数据流数据。

这里，如何选择合适的网络数据流数据作为历史数据来训练模型，是首要需要解决的问题。本实施例提出一种滚动时间窗口策略筛选部分历史数据流作为相关向量机的输入进行训练。这种策略实际上就是根据网络数据流的产生时间，选择与当前时间最接近的n条网络数据流数据。n的取值与系统的计算能力相关，计算能力越强，n的取值可以越大，这样选取的数据越多，建立的模型也就越准确。

步骤30，将捕获的n条网络数据流数据作为相关向量机的输入进行训练，建立数据模型。

本步骤是本实施例的关键。本实施例主要通过相关向量机来进行模型的训练，具体的方法如下：

相关向量机是在贝叶斯框架的基础上提出的，是一种基于核函数映射将低维空间非线性问题转化为高维空间的线性问题。相关向量机分类器，通过判定函数对判定函数中的新的观测数据x^*预测其相应目标t^*，其分布为：

p(t^*|t,α_MP,σ_MP ²)=∫p(t^*|w,α_MP,σ_MP ²)

由于上式两个积分项均为正态分布，故

p(t^*|t,α_MP,σ_MP ²)=N(t^*|y^*,σ^*2)

其中：

y^*=μ^T|Ф(x^*)

σ^*2=σ_MP ²+Ф(x^*)^T∑Ф(x^*)

此时，相关向量机对新观测值的预测输出为y(x^*;μ)。

相关向量机的步骤可以归结为下面几步：

选择适当的核函数，将特征向量映射到高维空间，解决低维空间内的线性不可分问题。理论上相关向量机可以使用任意的核函数，但考虑到具体的应用，本实施例以高斯核函数和多项式核函数为例。选择高斯核函数最重要的是核函数宽度参数的选择，核函数宽度过小，则导致过学习，核函数宽度过大，又导致过平滑，都会引起分类或回归能力的下降。

在高维空间内，为核函数选择相应参数，迭代求解最优的权重分布。

根据权重分布，预测数据，建立数据模型。

本实施例中所述的Kernel函数（核函数）可以为高斯核函数，其表达式为：

K(x₁,x₂)=exp[-||x₁-x₂||²/(2σ²)]

其中，σ表示核函数宽度，x₁与x₂是实数变量。

所述的Kernel函数也可以为多项式核函数，其表达式为：

K(x_i,x_j)=(x_i·x_j+1)^d

其中，d是多项式的次数。

为了快速选择合适的参数，本实施例提出一种快速参数自动选择方法来获得σ或d的值。

具体的，网络数据流的元素繁多，引入过多特征会增加方法的计算复杂度，而漏掉重要特征，使得预报结果精确度下降。因此，合理有效地选取这些特征参数对预报结果有重要影响。为此，本实施例采用核主元成分分析（Kernel Principal Component Analysis,KPCA）方法通过交叉验证进行特征选取。当然，也可以采用快速留一法、交叉验证法等方法来进行特征选取，具体实现方式为现有技术内容，此处不赘述。本实施例采用的特征参数可根据IPv6特征，选择流量对称性、协议分布、服务分布等特性参数中的一类或几类。流量对称性参数选取，除了常规的TCP，UDP等数据包数目外，可增加ESP包个数等参数（监测加密数据包在网络中的数量，判断是否出现中间人攻击）；对于服务分布参数，IPv4中可提取IP包字段中的TTL，RTT等值来监测数据报在网络中的存活时间及返回时延，判断是否出现异常攻击，在IPv6下可以通过提取IP包字段中的跳限值来判断经过的路由器是否为应该经过的跳数。在网络流量大的时候，流量对称性、协议分布、服务分布等特性将会趋于稳定，使统计更有效。

相关向量机需要人工设定核函数宽度或多项式核函数的次数，而核函数宽度或多项式核函数的次数决定数据之间相似性的大小。数据间相似性应尽量分布在区间[0,1]之间而尽量避免接近0与1的出现。通常核函数相似度是根据核函数参数单调增长的，因此本实施例提出如下参数自动选择方法，如图2所示，迭代步骤如下：

使用当前值x作为核函数参数，x可以从0到无穷，通过核函数计算由时间窗口策略选出的样本之间的相似性并记录所有相似度；

自动统计所有在某个区间如[0.2,0.8]内的相似度的个数，并记录此个数n；

增加核函数参数，x＝x＋Δx，其中，Δx为核参数增量；

增加迭代次数i=i+1；

如果在当前时间的n小于前一时间的n，则取前一时间的值x作为核函数参数；否则，跳至第一步骤，重新执行；

输出n(i)时刻的x作为核函数参数。

由此，核函数参数不但可被自动选择，省去了人工费用，而且可以在线地根据时间窗口策略选出的数据进行自动调节，解决参数自动选择问题。

步骤40，根据数据模型对当前的网络流量数据进行监测。

在完成了模型建立的过程后，可以根据建立的数据模型对当前的网络数据流进行监测。监测的目的在于发现网络数据流的异常，从而采取不同的措施进行处理。实际上，还需要输出监测后的预报结果及其风险级别，并将监测后的数据加入到原有的训练模型中，作为历史网络数据。

另外，还需要判断风险概率是否大于设定的操作阈值，若没有大于操作阈值，继续监控；否则，需要输出相应概率和级别的风险预测，并根据风险预测情况采取相应的措施。对于输出不同概率不同级别的风险，根据分类情况自动采取不同的操作；必要时，人工控制进行决策，处理高风险高重要级别的异常监测。

特别的，在步骤30之前，还包括一个将网络数据流数据进行去噪处理的步骤，目的在于削减噪声。噪声主要是错误或异常数据，可能会影响数据挖掘结果。

实施例二

参见图3，本发明实施例提供了一种网络异常流量监测装置，该装置包括捕获单元100、筛选单元200、数据处理单元300和输出单元400，具体如下：

捕获单元100，用于捕获流经的网络数据流；

筛选单元200，用于根据网络数据流的产生时间，选择与当前时间最接近的n条网络数据流数据；n根据本装置的计算能力确定；

数据处理单元300，用于将捕获的网络数据流数据作为相关向量机的输入进行训练，建立数据模型；

输出单元400，用于根据数据模型对当前的网络流量数据进行监测。

较佳地，上述装置还包括去噪单元500，用于将网络数据流数据进行去噪处理。

较佳地，参见图4，上述装置中的数据处理单元300进一步包括映射子单元301、参数选择子单元302和预测子单元303，具体如下：

映射子单元301，用于为相关向量机选择核函数，将特征向量映射到高维空间；

参数选择子单元302，用于在高维空间内，为核函数选择相应参数，迭代求解最优的权重分布；

预测子单元303，用于根据权重分布，建立数据模型，预测数据。根据建立好的样本数据模型来预测新数据，这里的输入是新数据，输出是事件是否发生以及发生的概率。

需要说明的是：上述实施例提供的网络异常流量监测装置在网络异常流量监测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的网络异常流量监测装置与网络异常流量监测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

综上所述，本发明各个实施例通过滚动时间窗口策略选择一定数量的网络数据流数据，将捕获的网络数据流数据作为相关向量机的输入进行训练，建立历史数据的数据模型，根据数据模型对当前的网络流量数据进行监测和预测。本发明实施例提供了一种低误检率、低错检率、带结果置信度输出、参数自动选择、高效的网络异常流量监测方案，能提高分类监测的精度，使异常流量监测能更快速有效，保证较低误检率和错检率。在解决准确度问题的基础上，借助贝叶斯概率的特点解决发生异常的概率输出问题。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种网络异常流量监测方法，其特征在于，所述方法包括：

捕获流经的网络数据流；

根据网络数据流的产生时间，选择与当前时间最接近的n条网络数据流数据；所述n根据系统的计算能力确定；

将捕获的n条网络数据流数据作为相关向量机的输入进行训练，建立数据模型；

根据所述数据模型对当前的网络流量数据进行监测。

2.如权利要求1所述的方法，其特征在于，所述将捕获的网络数据流数据作为相关向量机的输入进行训练之前，还包括：

将所述网络数据流数据进行去噪处理。

3.如权利要求1所述的方法，其特征在于，所述将捕获的网络数据流数据作为相关向量机的输入进行训练，建立数据模型，包括：

为相关向量机选择核函数，将捕获的网络数据流数据的特征向量映射到高维空间；

在高维空间内，为所述核函数选择相应参数，迭代求解最优的权重分布；

根据所述权重分布，预测数据，建立数据模型。

4.如权利要求3所述的方法，其特征在于，所述核函数包括但不限于高斯核函数或多项式核函数。

5.如权利要求3所述的方法，其特征在于，所述为所述核函数选择相应参数，包括：

使用当前值x作为核函数参数，x取值0到无穷；通过核函数计算网络数据流数据之间的相似性并记录所有相似度；

统计所有在预设区间内的相似度的个数，并记录此个数n；

增加核函数参数x＝x＋Δx，其中，所述Δx为核参数增量；

增加迭代次数i=i+1；

若在当前时间的n小于前一时间的n，则取前一时间的值x作为核函数参数；

输出所述x作为核函数参数。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

将监测的当前的网络流量数据加入所述数据模型中，作为历史网络数据的数据模型。

7.如权利要求1所述的方法，其特征在于，所述根据所述数据模型对当前的网络流量数据进行监测，包括：

判断网络数据流的风险概率是否大于操作阈值，若是，输出相应概率和级别的风险预测，并根据风险预测情况采取相应的措施；否则，继续监测。

8.一种网络异常流量监测装置，其特征在于，所述装置包括捕获单元、筛选单元、数据处理单元和输出单元，其中，

所述捕获单元，用于捕获流经的网络数据流；

所述筛选单元，用于根据网络数据流的产生时间，选择与当前时间最接近的n条网络数据流数据；所述n根据计算能力确定；

所述数据处理单元，用于将捕获的n条网络数据流数据作为相关向量机的输入进行训练，建立数据模型；

所述输出单元，用于根据所述数据模型对当前的网络流量数据进行监测。

9.如权利要求8所述的装置，其特征在于，所述装置还包括去噪单元，用于将所述网络数据流数据进行去噪处理。

10.如权利要求8或9所述的装置，其特征在于，所述数据处理单元进一步包括映射子单元、参数选择子单元和预测子单元，其中，

所述映射子单元，用于为相关向量机选择核函数，将捕获的网络数据流数据的特征向量映射到高维空间；

所述参数选择子单元，用于在高维空间内，为所述核函数选择相应参数，迭代求解最优的权重分布；

所述预测子单元，用于根据所述权重分布，建立数据模型，预测数据。

Images