CN110490231A - 一种有监督判别流形学习的Netflow数据降维方法 - Google Patents

Abstract

本发明属于数据处理领域，公开一种有监督判别流形学习的Netflow数据降维方法，步骤(1)：获取来自局域网路由器的Netflow数据包并存入数据库；步骤(2)：建立Netflow数据矩阵X＝[y₁,y₂,...,y_n]；步骤(3)：建立近邻矩阵H_ij，结合近邻矩阵H_ij的近邻关系，构造有监督判别矩阵S_ij；步骤(4)：计算局部散度矩阵S_L与全局散度矩阵S_N；建立约束目标函数模型J(A)，利用约束目标函数模型J(A)寻找一个同时具有最大全局散度矩阵和最小局部散度矩阵的低维投影子空间；步骤(5)：特征分解：根据约束目标函数模型J(A)，特征分解求得约束目标函数的解，并取前r个特征值所对应的的特征向量组成线性投影矩阵得到高维网络数据在低维空间的投影。本发明有效降低了输入样本的维度，降低Netflow数据量的大小减小了运算量。

Description

一种有监督判别流形学习的Netflow数据降维方法

技术领域

本发明属于数据处理领域，尤其涉及一种有监督判别流形学习的Netflow数据降维方法。

背景技术

NetFlow是一种网络监测功能，可以收集进入及离开网络界面的IP封包的数量及资讯，最早由思科公司研发，应用在路由器及交换器等产品上。经由分析Netflow收集到的资讯，网络管理人员可以知道封包的来源及目的地，网络服务的种类，以及造成网络壅塞的原因。

随着系统的升级与漏洞的修补，入侵主机进而进行破坏的病毒攻击方式在攻击中所占比例逐渐减少，这些攻击转而改为恶意的消耗网络有限的资源或占用系统，进而破坏系统对外提供服务的能力；但传统的系统升级无法检测并预防此类攻击。针对此类攻击，业界提出了以检测网络数据流的方法来判断网络异常和攻击：借助实时的检测网络数据流信息，通过与历史记录模式匹配、或者与异常模式匹配，让网络管理人员可以实时查看全网的状态，检测网络性能可能出现的瓶颈，并进行自动处理或告警显示，以保证网络高效、可靠地运转。

Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。也许它不能像tcpdump那样提供网络流量的完整记录，但是当汇集起来时，它更加易于管理和易读。Netflow由Cisco创造。一个Netflow系统包括三个主要部分：探测器，采集器，报告系统。探测器是用来监听网络数据的。采集器是用来收集探测器传来的数据的。报告系统是用来从采集器收集到的数据产生易读的报告的。

随着网络用户对网络服务质量要求的提高，网络安全分析所需要收集和统计的Netflow数据也越来越多。这些数据体现了网络的工作情况与性能，如何分析与处理这些Netflow数据，对于提高网络的安全、服务质量有着非常重大的意义。而Netflow数据由于其内部结构复杂，形成高维空间数据结构，存在维数灾难问题，从而对原始高维Netflow数据进行分析处理时，会有巨大的计算量，降低分析处理的效率，因而需要对Netflow数据进行降维处理。

为了更好地理解和处理这些高维复杂的网络数据，数据降维技术被广泛应用。数据降维的目的是找出高维数据中隐藏的低维结构，即将原始高维空间映射到低维空间中,可以为后续分析降低时间复杂度。而流形学习是近年才发展起来的一类新的非线性维数约简方法。通过流形学习方法建立高维-低维映射模型，能更加合理地显示高维数据集的内在结构。将流形学习算法运用在Netflow数据处理中，在非线性降维的同时保持原样本空间的分布特性，提高Netflow数据分析效率。

综上所述，由于Netflow数据的高维特性，在例如异常检测等的网络安全问题的分析处理中，会有较高的计算规模，可能导致比较低的分析效率，因此，本发明提出了一种有监督判别流形学习的Netflow数据降维方法，在考虑类别信息的基础上，通过最大化表征全局几何结构的全局散度矩阵和最小化表征局部几何结构的局部散度矩阵来寻找最佳投影子空间，更多挖掘高维数据的几何结构信息。

发明内容

本发明的目的在于公开能够保持类间几何特性、降低计算量的一种有监督判别流形学习的Netflow数据降维方法。

本发明的目的是这样实现的：

一种有监督判别流形学习的Netflow数据降维方法，包含如下步骤：

步骤(1)：数据源获取：通过Hadoop中的Flume组件获取来自局域网路由器的Netflow数据包并存入数据库；

步骤(2)：根据Netflow数据包的数据，建立Netflow数据矩阵X＝[y₁,y₂,...,y_n]，将某一时刻t_i的Netflow数据的各属性构成的向量作为Netflow数据矩阵X的行向量，每间隔固定的时间间隔生成一条行向量y_i，i＝1,2,3...n；

步骤(3)：针对Netflow数据矩阵X，根据数据集上高维空间数据的样本点的局部近邻关系，沿用流形学习方法，建立近邻矩阵H_ij；结合近邻矩阵H_ij的近邻关系，利用数据集的类别标签信息，构造有监督判别矩阵S_ij；

步骤(4)：根据有监督判别矩阵S_ij，沿用流形学习方法，计算局部散度矩阵S_L与全局散度矩阵S_N；建立约束目标函数模型J(A)，利用约束目标函数模型J(A)寻找一个同时具有最大全局散度矩阵和最小局部散度矩阵的低维投影子空间；

步骤(5)：特征分解：根据约束目标函数模型J(A)，特征分解求得约束目标函数的解，并取前r个特征值所对应的的特征向量组成线性投影矩阵[A₁,A₂,...,Α_r]，以得到高维网络数据在低维空间的投影。

本发明还包括以下特征：

1、所述的步骤(3)具体为：

步骤(3.1)：针对Netflow数据矩阵X，根据数据集上高维空间数据的样本点的局部近邻关系，沿用流形学习方法，建立近邻矩阵H_ij；近邻矩阵H_ij的任意元素h_ij＝0时，说明x_i与x_j为近邻关系，当h_ij＝1时说明x_i与x_j为非近邻关系；

步骤(3.2)：结合近邻矩阵H_ij的近邻关系，利用数据集的类别标签信息，变流形无监督为有监督，构造有监督判别矩阵S_ij：

2、所述的步骤(4)中的约束目标函数模型J(A)：

3、所述的步骤(5)具体为：

步骤(5.1)：采用拉格朗日数乘法，得到约束目标函数的解推导为如下特征值分解中前几个较大的特征值所对应的特征向量：

S_NA＝λS_LA；

取前r个特征值所对应的的特征向量组成线性投影矩阵[A₁,A₂,...,Α_r]；

步骤(5.2)：输出高维数据在低维空间的映射Y_t＝A^TX_t。

本发明的有益效果为：

本发明在Netflow数据处理中，针对输入样本点的近邻关系，在考虑类别信息的基础上，构建有监督判别矩阵，有效降低了输入样本的维度，并保证了降维投影后同类数据聚集而异类数据分散的特性，同时有效降低Netflow数据量的大小，减小了运算量。

附图说明

图1是一种有监督判别流形学习的Netflow数据降维方法流程图。

具体实施方式

下面结合附图来进一步描述本发明：；

如图1，一种有监督判别流形学习的Netflow数据降维方法，解决现有无监督降维方法下Netflow高维数据的类间几何特性无法保持的问题。首先对每一条Netflow数据添加额外的标签，其中0代表正常，1代表异常。根据添加的上述标签进行有监督降维，降维投影之后能够实现同类数据聚集，不同类数据分散的效果。同时通过对高维Netflow数据进行降维，有效降低Netflow数据量的大小，从而避免过大的计算量，深入挖掘Netflow数据的本质。

本发明的具体内容如下：

步骤1：数据源获取。通过Hadoop中的Flume组件获取来自局域网路由器的Netflow数据包并存入数据库。

步骤2：根据步骤1采集的数据，建立Netflow数据矩阵X，其中行向量为某一时刻t_i的Netflow数据的各属性构成的向量。每间隔固定的时间间隔生成一条行向量y_i，Netflow数据矩阵X＝[y₁,y₂,...,y_n]。

步骤3：针对步骤2获取的Netflow数据矩阵X，根据数据集上高维空间数据的样本点的局部近邻关系，沿用现有的流形学习方法，建立近邻矩阵H_ij；然后采用一种有监督判别矩阵生成方法，结合近邻矩阵H_ij的近邻关系，利用数据集的类别标签信息，变流形无监督为有监督，构造有监督判别矩阵S_ij。

所述有监督判别矩阵生成方法具体还包括：

对于近邻矩阵H_ij的任意元素，当h_ij＝0时，说明x_i与x_j为近邻关系，当h_ij＝1时说明x_i与x_j为非近邻关系，由于任意元素h_ij，对于数据分类而言没有判别性，因而考虑类别信息，构造如下所示的有监督判别矩阵S_ij。

步骤4：根据步骤3所提出的有监督判别矩阵S_ij，沿用现有流形学习方法，计算局部散度矩阵S_L与全局散度矩阵S_N，并寻找一个同时具有最大全局散度矩阵和最小局部散度矩阵的低维投影子空间，建立约束目标函数模型J(A)。

所述建立约束目标函数模型J(A)具体还包括：

构建约束目标函数模型来寻找最佳投影子空间J(A)，使得J(A)可以同时满足全局散度矩阵最大而局部散度矩阵最小J(A)。其中S_L为局部散度矩阵，S_L为局部散度矩阵。

步骤5：特征分解。根据步骤4约束目标函数模型J(A)，特征分解求得约束目标函数的解，并取前r个特征值所对应的的特征向量组成线性投影矩阵[A₁,A₂,...,Α_r]，以得到高维网络数据在低维空间的投影。

所述对目标函数特征分解具体还包括：

(5.1)采用拉格朗日数乘法，得到该目标函数的解可以推导为如下特征值分解中前几个较大的特征值所对应的特征向量：

S_NA＝λS_LA；

取前r个特征值所对应的的特征向量组成线性投影矩阵[A₁,A₂,...,Α_r]；

(5.2)输出高维数据在低维空间的映射Y_t＝A^TX_t；

本发明还可以这样描述：

一种有监督判别流形学习的Netflow数据降维方法，包含如下步骤：

步骤1：数据源获取。通过Hadoop中的Flume组件获取来自局域网路由器的Netflow数据包并存入数据库。

步骤2：根据步骤1采集的数据，建立Netflow数据矩阵X，其中行向量为某一时刻t_i的Netflow数据的各属性构成的向量。每间隔固定的时间间隔生成一条行向量y_i，Netflow数据矩阵X＝[y₁,y₂,...,y_n]。

步骤3：针对步骤2获取的Netflow数据矩阵X，根据数据集上高维空间数据的样本点的局部近邻关系，沿用现有的流形学习方法，建立近邻矩阵H_ij；然后采用一种有监督判别矩阵生成方法，结合近邻矩阵H_ij的近邻关系，利用数据集的类别标签信息，变流形无监督为有监督，构造有监督判别矩阵S_ij。

步骤4：根据步骤3所提出的有监督判别矩阵S_ij，沿用现有流形学习方法，计算局部散度矩阵S_L与全局散度矩阵S_N，并寻找一个同时具有最大全局散度矩阵和最小局部散度矩阵的低维投影子空间，建立约束目标函数模型J(A)。

步骤5：特征分解。根据步骤4约束目标函数模型J(A)，特征分解求得约束目标函数的解，并取前r个特征值所对应的的特征向量组成线性投影矩阵[A₁,A₂,...,Α_r]，以得到高维网络数据在低维空间的投影。

步骤2所述Netflow数据矩阵X构建具体包括如下步骤：

根据Netflow网络数据，选择源IP地址、目标IP地址、源通信端口号、目标通信端口号、协议类型、服务类型(TOS)字节、服务类型(TOS)字节、启动时间、终止时间、输入接口、输出接口等的20个属性作为矩阵X的行向量，一小时内每间隔2秒生成一条行向量y_i，一共有1800条行向量，其中X＝[y₁,y₂,...,y₁₈₀₀]。

上述步骤3所述有监督判别矩阵生成方法具体还包括：

对于近邻矩阵H_ij的任意元素，当h_ij＝0时，说明x_i与x_j为近邻关系，当h_ij＝1时说明x_i与x_j为非近邻关系。

(3.1)D是一个对角矩阵：拉普拉斯矩阵L＝D-H，给定m个训练样本x₁,x₂,x₃,...,x_m，定义如下所示样本的近邻矩阵H_ij。

其中i∈N_s(j)且j∈N_s(i)代表样本x_i是样本x_j的近邻且样本x_i是样本x_j的近邻。

(3.2)由于任意元素h_ij，对于数据分类而言没有判别性，因而考虑类别信息，

构造有监督判别矩阵S_ij。具体关系如下：

上述步骤4所述建立约束目标函数模型J(A)具体还包括：

(4.1)根据类别相似的近邻图，构建局部散度矩阵S_L。

其中L1——拉普拉斯矩阵，其计算为L1＝D1-H，D1为对角阵其值为H的列和。

(4.2)根据类别相似的近邻图，构建全局散度矩阵S_N。

(4.3)为了寻找一个同时具有最大全局散度矩阵和最小局部散度矩阵的低维投影子空间，建立函数模型J(A)，其中

上述步骤5所述对目标函数特征分解具体还包括：

(5.1)采用拉格朗日数乘法，得到该目标函数的解可以推导为如下特征值分解中前几个较大的特征值所对应的特征向量：

S_NA＝λS_LA；

取前r个特征值所对应的的特征向量组成线性投影矩阵[A₁,A₂,...,Α_r]；

(5.2)输出高维数据在低维空间的映射Y_t＝A^TX_t；

本发明在考虑类别信息的基础上，通过最大化表征全局几何结构的全局散度矩阵和最小化表征局部几何结构的局部散度矩阵来寻找最佳投影子空间，更多挖掘高维数据的几何结构信息。

以上所述并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种有监督判别流形学习的Netflow数据降维方法，其特征在于：包含如下步骤：

步骤(1)：数据源获取：通过Hadoop中的Flume组件获取来自局域网路由器的Netflow数据包并存入数据库；

步骤(2)：根据Netflow数据包的数据，建立Netflow数据矩阵X＝[y₁,y₂,...,y_n]，将某一时刻t_i的Netflow数据的各属性构成的向量作为Netflow数据矩阵X的行向量，每间隔固定的时间间隔生成一条行向量y_i，i＝1,2,3...n；

步骤(3)：针对Netflow数据矩阵X，根据数据集上高维空间数据的样本点的局部近邻关系，沿用流形学习方法，建立近邻矩阵H_ij；结合近邻矩阵H_ij的近邻关系，利用数据集的类别标签信息，构造有监督判别矩阵S_ij；

步骤(4)：根据有监督判别矩阵S_ij，沿用流形学习方法，计算局部散度矩阵S_L与全局散度矩阵S_N；建立约束目标函数模型J(A)，利用约束目标函数模型J(A)寻找一个同时具有最大全局散度矩阵和最小局部散度矩阵的低维投影子空间；

步骤(5)：特征分解：根据约束目标函数模型J(A)，特征分解求得约束目标函数的解，并取前r个特征值所对应的的特征向量组成线性投影矩阵[A₁,A₂,...,Α_r]，以得到高维网络数据在低维空间的投影。

2.根据权利要求1所述的一种有监督判别流形学习的Netflow数据降维方法，其特征在于：所述的步骤(3)具体为：

步骤(3.1)：针对Netflow数据矩阵X，根据数据集上高维空间数据的样本点的局部近邻关系，沿用流形学习方法，建立近邻矩阵H_ij；近邻矩阵H_ij的任意元素h_ij＝0时，说明x_i与x_j为近邻关系，当h_ij＝1时说明x_i与x_j为非近邻关系；

步骤(3.2)：结合近邻矩阵H_ij的近邻关系，利用数据集的类别标签信息，变流形无监督为有监督，构造有监督判别矩阵S_ij：

3.根据权利要求1或2所述的一种有监督判别流形学习的Netflow数据降维方法，其特征在于：所述的步骤(4)中的约束目标函数模型J(A)：

4.根据权利要求1或2所述的一种有监督判别流形学习的Netflow数据降维方法，其特征在于：所述的步骤(5)具体为：

步骤(5.1)：采用拉格朗日数乘法，得到约束目标函数的解推导为如下特征值分解中前几个较大的特征值所对应的特征向量：

S_NA＝λS_LA；

取前r个特征值所对应的的特征向量组成线性投影矩阵[A₁,A₂,...,Α_r]；

步骤(5.2)：输出高维数据在低维空间的映射Y_t＝A^TX_t。

5.根据权利要求3所述的一种有监督判别流形学习的Netflow数据降维方法，其特征在于：所述的步骤(5)具体为：

步骤(5.1)：采用拉格朗日数乘法，得到约束目标函数的解推导为如下特征值分解中前几个较大的特征值所对应的特征向量：

S_NA＝λS_LA；

取前r个特征值所对应的的特征向量组成线性投影矩阵[A₁,A₂,...,Α_r]；

步骤(5.2)：输出高维数据在低维空间的映射Y_t＝A^TX_t。