CN106972968A - 一种基于交叉熵联合马氏距离的网络异常流量检测方法 - Google Patents

Abstract

本发明公开了一种基于交叉熵结合马氏距离的网络异常流量检测方法，从交叉熵的角度来映射网络流量变化程度，并通过马氏距离计算将这种变化程度从多维度的属性空间转换到一维度上的单值空间中，实现网络异常流量检测。本发明定义网络会话七元组数据，通过采集{SIP,SPORT,DIP,DPORT,IN,OUT,VEL}数据，相对于传统网络五元组数据统计更加准确，实现可靠的网络流量异常检测。本发明通过将一组数据分为前后两部分，计算前半部分与后半部分的交叉熵，对网络会话多元组的分布变化描述更为准确，结合马氏距离后实现有效的网络流量异常检测。

Description

一种基于交叉熵联合马氏距离的网络异常流量检测方法

技术领域

本发明涉及计算机网络安全技术领域，具体涉及一种基于交叉熵联合马氏距离的网络异常流量检测方法。

背景技术

当前，计算机网络的攻击与入侵行为与日俱增，网络安全面临的形势越来越严峻。诸如分布式拒绝服务攻击、蠕虫病毒攻击、端口扫描、P2P软件滥用、用户非法操作与访问、垃圾邮件、木马病毒、恶意篡改网页、设备宕机和链路损坏等，会产生大量的网络异常流量，严重影响网络安全。高效精准的网络异常流量检测方法对于确保网络安全可靠运行意义重大。

在网络通信过程中，专门制订了网络通信规范，对其入网终端、可安装应用程序及网络会话属性值等均设定了相关要求，以确保网络在预定的模式下运行的一种专用互联网络即受控网络，基于受控网络的控制特点，可知其网络流量在正常情况下，与传统互联网相比，会表现出更加强烈的自相似性、长相关性和重尾分布。网络流量的自相似性、长相关性和重尾分布等分布特征对于网络流量工程、网络建模和网络异常流量检测具有指导意义。

网络异常流量检测从本质上来说是模式识别问题，其核心是样本与样本之间或类与类之间的相似性测度问题。判断样本之间的相似性常采用近邻准则，即将待分类样本与标准模板进行比较，看哪个模板匹配程度更好，从而确定待测试样本的分类。依照近邻准则进行分类通常有两种计算方法，一是与样本库中所有样本特征分别做相似性测度，找出最接近的样本，取该样本所属类别作为待测样本的类别。另一种方法是与样本库中不同类别的中心做相似性测度，找出最接近类的中心，以该类作为待测样本的类别。计算模式相似性测度有欧氏距离、马氏距离、夹角余弦距离、Tanimoto测度等多种距离算法。其中，欧氏距离计算测度方法较为简单，使用最为广泛，但由于它将样本的不同属性之间的差别等同看待，这一点有时不能满足实际要求，存在难以区分样本之间属性差别和变量之间易产生相关性干扰的问题，而使用马氏距离计算测度可以不受量纲的影响，并且两点之间的马氏距离与原始数据的测量单位无关，由标准化数据和中心化数据计算出的两点之间的马氏距离相同，可以排除变量之间的相关性干扰，但夸大了变化微小的变量，单独用马氏距离进行网络异常检测的准确性、可靠性和实用性不高。

发明内容

有鉴于此，本发明提供了一种基于交叉熵结合马氏距离的网络异常流量检测方法，从交叉熵的角度来映射网络流量变化程度，并通过马氏距离计算将这种变化程度从多维度的属性空间转换到一维度上的单值空间中，实现网络异常流量检测。

本发明是通过以下技术方案来实现的：

步骤1，采集网络会话多元组数据；

步骤2，从步骤1采集的每类数据中均任意选取N条数据，放在一个观测刻度内；重复选取M次，构建出M个观测刻度内的样本单元；

步骤3，计算第i个观测刻度内的网络会话多元组数据中同类数据之间的交叉熵值，将观测刻度i内的各类数据的交叉熵值组成交叉熵向量L_i；其中i＝1,2,3…M，得到M个观测刻度内所有的交叉熵向量L₁,L₂...L_i...L_M；

步骤4，利用步骤3得到的M个观测刻度内的网络会话多元组交叉熵向量，组成判定矩阵ξ_train，ξ_train＝[L₁L₂ ... L_i ...L_M]^T；

步骤5，计算交叉熵向量L_i到步骤4所得到的判定矩阵ξ_train的类中心C的马氏距离d_i，遍历M个观测刻度内所有的交叉熵向量，得到M个马氏距离d₁,d₂,…d_M；

步骤6，确定网络异常流量判定的阈值

其中MEAN(d₁,d₂,…d_M)表示对d₁,d₂,…d_M求平均；

步骤7，采集网络会话多元组数据作为待检测数据，从采集的每类待检测数据中均任意选取N条数据，放在观测刻度j内；利用所述步骤3的方式计算观测刻度j内的网络会话多元组数据的交叉熵向量L_j，利用所述步骤5的方式计算向量L_j到判定矩阵ξ_train的类中心C的马氏距离d_j，比较d_j与阈值的大小，当时流量异常，发出报警信息。

其中，步骤1采集的网络会话多元组数据为：{SIP,SPORT,DIP,DPORT,IN,OUT,VEL}，其中SIP表示网络会话源地址，SPORT表示网络会话源端口，DIP表示网络会话目的地址，DPORT表示网络会话目的端口，IN表示网络会话中连接到被观测节点的其它不同节点的数量即入度，OUT表示网络会话中被观测节点连接其它不同节点的数量即出度，VEL表示网络会话中不同连接的流速。

其中，步骤3中交叉熵向量L_i中D类数据的交叉熵值计算公式为：

其中为统计D类数据的前半部分中不同特征的概率分布得到的序列；为统计D类数据的后半部分中不同特征的概率分布得到的序列；其中所述特征为该组数据对应的网络会话数据参数，和长度相同。

其中，步骤5中判定矩阵ξ_train的类中心C计算公式为：

C＝MEAN(ξ_train)

其中MEAN(ξ_train)表示对矩阵ξ_train求平均。

其中，步骤5中L_i到类中心C的马氏距离为：

d_i＝(L_i-C)S^-1(L_i-C)^T；

其中S为ξ_train的协方差矩阵，S^-1为S的逆，(L_i-C)^T为向量(L_i-C)的转置。

有益效果：

(1)本发明为受控网络的网络异常流量检测提供了一种新的方法，利用交叉熵联合马氏距离，能够解决现有的马氏距离网络异常流量检测方法中存在的夸大变化微小变量的问题，提高了网络异常检测的准确性、可靠性和实用性。

(2)本发明定义网络会话七元组数据，通过采集{SIP,SPORT,DIP,DPORT,IN,OUT,VEL}数据，相对于传统网络五元组数据统计更加准确，实现可靠的网络流量异常检测。

(3)本发明通过将一组数据分为前后两部分，计算前半部分与后半部分的交叉熵，对网络会话多元组的分布变化描述更为准确，结合马氏距离后实现有效的网络流量异常检测。

附图说明

图1为网络异常流量检测流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

在信息论中的交叉熵值可以用来描述网络会话多元组的分布变化，从而可以通过分析网络会话多元组不同维度上交叉熵值的变化程度来检测网络流量变化程度。本发明提供了一种基于交叉熵联合马氏距离的网络异常流量检测方法，包括以下步骤：

步骤1，采集网络会话多元组数据；

本发明可以通过传统的网络会话五元组数据来进行的网络异常流量监测，也可以自定义的选取与流量变化相关的不同类别的网络会话数据，本实施例采用包括SIP,SPORT,DIP,DPORT,IN,OUT和VEL七个特征的网络会话七元组数据，相对于传统网络五元组数据统计更加准确，实现可靠的网络流量异常检测；其中SIP表示网络会话源地址，SPORT表示网络会话源端口，DIP表示网络会话目的地址，DPORT表示网络会话目的端口，IN表示网络会话中连接到被观测节点的其它不同节点的数量即入度，OUT表示网络会话中被观测节点连接其它不同节点的数量即出度，VEL表示网络会话中不同连接的流速；

步骤2，确定判定矩阵ξ_train：

从步骤1采集到的网络会话七元组数据的每类数据中均选取N条数据，放在一个观测刻度上；采用同样的方式选取另外N条数据，放到另一个观测刻度上，共选取M次，构建出M个不同观测刻度内的样本单元；

步骤3，计算第i个观测刻度内的网络会话七元组数据中各组数据的交叉熵值，得到七个交叉熵值，组成交叉熵向量L_i，

L_i＝[L_i(SIP) L_i(SPORT) L_i(DIP) L_i(DPORT) L_i(IN) L_i(OUT) L_i(VEL)]

其中i＝1,2,3…M，得到M个观测刻度内所有的交叉熵向量；

计算交叉熵向量L_i中同一类数据的交叉熵的方式有很多种，可以将数据任意拆分为两部分，求此两部分的交叉熵值，本实施例将同一类数据分为前后两部分，计算前后两部分之间的交叉熵，交叉熵向量L_i的D类数据的交叉熵值计算式为：

其中D类数据表示SIP,SPORT,DIP,DPORT,IN,OUT或VEL中的某一类数据：

为统计该组数据的前半部分中不同特征的概率分布得到的序列；

(在前半部分共出现了Z₁'个不同的源IP)；

Z₁'表示在前半部分出现的不同源IP的总数；

(在前半部分共出现了Z'₂个不同的目的IP)；

Z'₂表示在前半部分出现的不同目的IP的总数；

(在前半部分共出现了Z₃'个不同的源端口PORT)；

Z₃'表示在前半部分出现的不同源端口PORT的总数；

(在前半部分共出现了Z'₄个不同的目的端口PORT)；

Z'₄表示在前半部分出现的不同目的端口PORT的总数；

(在前半部分共出现了Z₅'个不同的入度IN)；

Z₅'表示在前半部分出现的不同入度IN的总数；

(在前半部分共出现了Z'₆个不同的出度OUT)；

Z'₆表示在前半部分出现的不同出度OUT的总数；

(在前半部分共出现了Z'₇个不同的流速VEL)；

Z'₇表示在前半部分出现的不同流速VEL的总数；

为统计该组数据的后半部分中不同特征的概率分布得到的序列，计算方式与相同，只是把统计的对象变为同组数据的后半部分；

如果某个特征在所述前半部分和所述后半部分的概率分布序列长度不同，则在较短的概率分布序列后补充0，使该特征在所述前半部分和所述后半部分的概率分布序列长度相同，达到控制和长度相同的目的；其中所述特征为SIP,SPORT,DIP,DPORT,IN,OUT或VEL对应的网络会话数据参数；

i＝1,2,3…M，计算所有观测刻度内的网络会话七元组交叉熵向量，经M次统计，得到M个观测刻度内所有的交叉熵向量，每个交叉熵向量有7个交叉熵值；

步骤4，利用所有观测刻度内的网络会话七元组交叉熵向量组成M个观测刻度内的判定矩阵ξ_train如下：

判定矩阵ξ_train为M×7矩阵；

步骤5，计算交叉熵向量L_i到步骤4所得到的判定矩阵ξ_train的类中心C的马氏距离d_i，遍历M个观测刻度内所有的交叉熵向量，得到M个马氏距离d₁,d₂,…d_M；

其中判定矩阵ξ_train的类中心C为：C＝MEAN(ξ_train)；其中MEAN(ξ_train)表示对矩阵ξ_train求平均；

马氏距离d_i为：

d_i＝(L_i-C)S^-1(L_i-C)^T；

其中S为ξ_train的协方差矩阵，S^-1为S的逆，(L_i-C)^T为向量(L_i-C)的转置；

步骤6，确定网络异常流量判定的阈值阈值为：

其中MEAN(d₁,d₂,…d_M)表示对d₁,d₂,…d_M求平均；

步骤7，采集与步骤1数量相同的网络会话N元组数据作为待检测数据，从待检测数据的每组中均选取N条数据，放在观测刻度j内，观测刻度j可以在步骤2的M个观测刻度内，也可以不在这M个观测刻度内，利用所述步骤3的方式计算观测刻度j内的网络会话N元组数据的交叉熵向量L_j，利用所述步骤5的方式计算交叉熵向量L_j到判定矩阵ξ_train的类中心C的马氏距离d_j，比较d_j与阈值的大小，当时流量异常，发出报警信息。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于交叉熵联合马氏距离的网络异常流量检测方法，其特征在于，包括如下步骤：

步骤1，采集网络会话多元组数据；

步骤2，从步骤1采集的每类数据中均任意选取N条数据，放在一个观测刻度内；重复选取M次，构建出M个观测刻度内的样本单元；

步骤3，计算第i个观测刻度内的网络会话多元组数据中同类数据之间的交叉熵值，将观测刻度i内的各类数据的交叉熵值组成交叉熵向量L_i；其中i＝1,2,3…M，得到M个观测刻度内所有的交叉熵向量L₁,L₂...L_i...L_M；

步骤4，利用步骤3得到的M个观测刻度内的网络会话多元组交叉熵向量，组成判定矩阵ξ_train，ξ_train＝[L₁L₂ ... L_i ...L_M]^T；

步骤5，计算交叉熵向量L_i到步骤4所得到的判定矩阵ξ_train的类中心C的马氏距离d_i，遍历M个观测刻度内所有的交叉熵向量，得到M个马氏距离d₁,d₂,…d_M；

步骤6，确定网络异常流量判定的阈值

其中MEAN(d₁,d₂,…d_M)表示对d₁,d₂,…d_M求平均；

步骤7，采集网络会话多元组数据作为待检测数据，从采集的每类待检测数据中均任意选取N条数据，放在观测刻度j内；利用所述步骤3的方式计算观测刻度j内的网络会话多元组数据的交叉熵向量L_j，利用所述步骤5的方式计算向量L_j到判定矩阵ξ_train的类中心C的马氏距离d_j，比较d_j与阈值的大小，当时流量异常，发出报警信息。

2.如权利要求1所述的一种基于交叉熵联合马氏距离的网络异常流量检测方法，其特征在于，步骤1采集的网络会话多元组数据为：

{SIP,SPORT,DIP,DPORT,IN,OUT,VEL}，其中SIP表示网络会话源地址，SPORT表示网络会话源端口，DIP表示网络会话目的地址，DPORT表示网络会话目的端口，IN表示网络会话中连接到被观测节点的其它不同节点的数量即入度，OUT表示网络会话中被观测节点连接其它不同节点的数量即出度，VEL表示网络会话中不同连接的流速。

3.如权利要求1或2所述的一种基于交叉熵联合马氏距离的网络异常流量检测方法，其特征在于，所述步骤3中交叉熵向量L_i中D类数据的交叉熵值计算公式为：

$L_i\left(D\right)=-2lb\sqrt{\[A_D^{Before}\]\·{\[A_D^{After}\]}^T};$

其中为统计D类数据的前半部分中不同特征的概率分布得到的序列；为统计D类数据的后半部分中不同特征的概率分布得到的序列；其中所述特征为该组数据对应的网络会话数据参数，和长度相同。

4.如权利要求1所述的一种基于交叉熵联合马氏距离的网络异常流量检测方法，其特征在于，所述步骤5中判定矩阵ξ_train的类中心C计算公式为：

C＝MEAN(ξ_train)

其中MEAN(ξ_train)表示对矩阵ξ_train求平均。

5.如权利要求1或4所述的一种基于交叉熵联合马氏距离的网络异常流量检测方法，其特征在于，所述步骤5中L_i到类中心C的马氏距离为：

d_i＝(L_i-C)S^-1(L_i-C)^T；

其中S为ξ_train的协方差矩阵，S^-1为S的逆，(L_i-C)^T为向量(L_i-C)的转置。