CN102468987B - 网络流特征向量提取方法 - Google Patents

Abstract

本发明公开了一种网络流特征向量提取方法，该方法包括步骤：S1.查找捕获到的新进网络包在网络流表中对应的网络流；S2.根据所述网络包更新其所对应的网络流的初始特征；S3.判断网络流是否终结，若是，则从网络流的初始特征中提取网络流高级特征，否则，返回步骤S1。本发明的方法能够从网络流中提取丰富且可靠的知识，完备地刻画主机之间相互通信的细节，并且在整个处理过程中无需存储网络包，也无需对其进行深度处理，可以为高速网络中高性能防火墙、入侵检测系统和入侵防范系统等网络安全系统的设计和实现提供技术支持。

Description

网络流特征向量提取方法

技术领域

本发明涉及网络安全技术领域，尤其涉及一种网络流特征向量提取发方法。

背景技术

网络安全系统指的是那些专门为网络或计算机系统提供安全服务的系统。它包括防火墙、入侵检测系统和入侵防范系统等。

由于网络技术和网络带宽的发展迅速，网络中的数据流量也成倍增加，在高速骨干网络上，数据流量已经达到每秒钟上Gbit甚至10Gbit。不断增大的网络流量对网络安全提出了新的挑战：传统的基于网络包的网络安全系统的效率已难以满足高速骨干网监测的需要。在高速宽带网络环境下，网络数据高速无穷到达，且不间断，呈现海量数据特点，并且本地无法进行存储。因此，依靠网络包捕获-网络包还原-模式匹配的传统的网络安全系统效率无法满足需要。

网络流(NetFLow)是两个网络实体之间持续一段时间并属于相同流属性值集的数据包序列。作为一种数据交换方式，网络流从一个微观层面上反映了主机行为和主机之间相互通信的细节。通过收集IP协议流量信息，网络流能够为网络安全类系统提供精确、高效、可靠的处理对象。网络流是目前网络安全技术领域的热点，它的应用能够提升网络安全系统在高速网络中的性能。

思科公司首先提出了网络流的概念，并引入了两个重要的参数：流规范(flow specification)和流超时(flow timeout)。

流规范的定义可以用一个五元组来表示：

1、源IP地址；

2、目的IP地址；

3、TCP/UDP协议的原始端口号(0代表其它协议)；

4、TCP/UDP协议的目的端口号(0代表其它协议)；

5、IP协议类型。

按照流规范的定义，对于一个新进的网络数据包，如果在Cache(高速缓冲存储器)中无法能够找到与之相对应的网络流信息，则在Cache中创建一个新的网络流。流超时规定了4个规则来判定一个网络流是否终结：

1、TCP协议标志位是FIN或者RST；

2、收到一个数据包后15秒内没有另外的数据包到达；

3、网络流创建30分钟；

4、网络流的Cache已满。

网络流是一种流数据，可以采用流数据模型描述。流数据模型解释了一种信号描述方式。设流数据中的数据项a₁，a₂，...，a_n依次按下标顺序到达，描述了一个信号A。流数据模式定义了如何用a描述信号A。流数据模型分为3种：

1、时间序列模型(Time Series Model)

每个数据项a_i都以i的增序出现。此时，数据流中的每个数据项都代表一个独立的信号。

2、现金登记模型(Cash Register Model)

在这个模型中，每个数据项a_i都代表信号A的增量。该模型和现金登记类似，随着时间的推进，多个a_i能够增加一个给定的信号A。此时，数据流中的多个数据项增量式的表达一个信号。

3、十字转门模型(Turnstile Model)

这个模型与现金登记模型类似，每一个数据项a_i都是信号A的更新。与现金登记模型不同，在十字转门模型中，数据项的更新可以是负值。此时，随着数据项的流入，信号可能会增加，也可能会减少。

网络流采用的模型是现金登记模型。其中，每一个新进的数据包都是一个数据项，每一个网络流都是一个信号。随着时间的推进，网络流的内容逐渐丰富，而数据包在更新完网络流后也将完成它的使命。整个过程中无需存储数据包，也无需对其进行深度处理，只需要用它更新描述网络流的概要数据结构。

利用网络流能够有效提升网络安全设备的效率，满足日益增长的网络带宽的需要。然而，目前描述网络流的概要数据结构比较简单，包含的信息量比较少，无法完备地刻画主机之间相互通信的细节，从而导致网络安全系统无法准确地分析网络中存在的异常行为。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是：如何提供一种网络流特征向量提取方法，为网络安全设备提供丰富、可靠的知识，以分析网络中存在的异常行为。

(二)技术方案

为解决上述问题，本发明提供了一种网络流特征向量提取方法，该方法包括步骤：

S1.查找捕获到的新进网络包在网络流表中对应的网络流；

S2.根据所述网络包更新其所对应的网络流的初始特征；

S3.判断网络流是否终结，若是，则从网络流的初始特征中提取网络流高级特征，否则，返回步骤S1。

其中，步骤S1前还包括建立用于存储网络流信息的所述网络流表的步骤。

其中，所述网络流采用现金登记模型描述。

其中，步骤S1进一步包括：

S1.1判断所述捕获的新进网络包的方向，并将其转换为由监控网络内部到外部的方向；

S1.2若在所述网络流表中存在与转换后的网络包对应的网络流，则执行步骤S2，否则，继续执行步骤S1.3；

S1.3为所述网络包创建一个新的网络流，并将其插入到所述网络流表中。

其中，在步骤S1.1中，若所述网络包为监控网络内部主机交换的网络包，则判断所述网络包对应的网络流的第一个网络包的方向为从监控网络外部到内部的方向。

其中，在步骤S2中，所述初始特征包括：网络流的基本信息、网络流的基本统计特征、以及网络流的横向统计特征。

其中，步骤S2进一步包括：

S2.1若所述网络包为其对应的网络流的第一个网络包，则根据所述网络包更新其对应的网络流的基本信息；

S2.2根据所述网络包更新其对应的网络流的基本统计特征；

S2.3根据所述网络包更新其对应的网络流的横向统计特征。

其中，在步骤S3中，所述高级特征包括网络流连接特征以及网络流高级统计特征。

其中，步骤S3进一步包括：

S3.1从网络流初始特征中提取网络流连接特征；

S3.2从网络流初始特征中提取网络流高级统计特征。

(三)有益效果

本发明的方法能够从网络流中提取丰富且可靠的知识，完备地刻画主机之间相互通信的细节，并且在整个处理过程中无需存储网络包，也无需对其进行深度处理，可以为高速网络中高性能防火墙、入侵检测系统和入侵防范系统等网络安全系统的设计和实现提供技术支持。

附图说明

图1为依照本发明一种实施方式的网络流特征向量提取方法流程图；

图2为依照本发明一种实施方式的网络流特征向量提取方法在入侵检测系统应用示意图。

具体实施方式

对于本发明所提出的网络流特征向量提取方法，结合附图和实施例详细说明。

针对目前描述网络流的概要数据结构无法为网络安全系统提供丰富的知识分析网络中存在异常行为的问题，本发明提出了一种网络流特征向量的提取方法。这种方法首先建立网络流表存储网络流信息；利用现金登记模型，使用新进网络包更新与其对应的网络流的初始特征；之后从网络流初始特征中进一步提取高级特征；最后将初始特征与高级特征相结合形成网络流特征向量。该方法能够从网络流中提取丰富的统计特征、横向特征，通过提供精确、高效、可靠的处理对象，提升网络安全系统在高速网络中的检测性能。根据实际的应用需求，可以选择不同的特征组成特征向量。

如图1所示，依照本发明一种实施方式的网络流特征向量提取方法在建立了用于存储网络流信息的网络表后进行如下步骤，其中采用现金登记模型描述网络流：

S1.寻找捕获的新进网络包在网络流表中对应的网络流；

步骤S1进一步包括：

S1.1判断网络包的方向，并将其转换为由监控网络内部到外部的方向。若为监控网络内部主机交换的网络包，则认定与该网络包对应的网络流的第一个网络包的方向为从监控网络外部到内部方向；

S1.2若在网络流表中存在与转换后的网络包对应的网络流，则转向步骤2，否则，继续执行步骤S1.3；

S1.3若在网络流表中不存在与转换后的网络包对应的网络流，则为该数据包创建一个新的网络流插入网络流表中。

S2.利用该网络包更新网络流的初始特征，包括网络流基本信息、网络流基本统计特征、以及横向统计特征三部分；

步骤S2进一步宝包括：

S2.1若该网络包为对应网络流的第一个网络包，则用其更新网络流初始特征中的网络流基本信息，包括Inside_ip、Outside_ip、Inside_port、Outside_port、Protocol等5个特征；如下表1所示，为网络流基本信息所表示的具体含义。

表1网络流基本信息

S2.2使用网络包更新对应网络流的基本统计特征，包括Duration、Flag、Inside_pkg、Outside_pkg、Inside_byte、Outside_byte、Total_pkg、Total_byte、Num_of_urgent、Num_of_SYN、Num_of_eSYN、Num_of_epkg、Num_of_fragment、Num_of_options、Byte_of_option、Max_inside_pkg_length、Min_inside_pkg_length、Max_outside_pkg_length、Min_outside_pkg_length等19个特征；如表2所示，为上述网络流的基本统计特征所表示的具体含义。表3所示，为Flag(TCP连接标识)所表示的具体含义。

表2网络流基本统计特征

表3TCP连接标识

S2.3使用网络包更新对应网络流的横向统计特征，包括Inside_pkg_window、Inside_byte_window、Outside_pkg_window、Outside_byte_window、Flow_count、Diff_serv_flow_count、Same_serv_flow_count、Dst_diff_flow_count等8个特征；如表4所示，为上述网络流横向统计特征所表示的含义。

表4网络流横向统计特征

S3.网络流终结后，从网络流初始特征里面提取网络流高级特征，包括网络流连接特征、网络流高级统计特征两部分；

步骤S3进一步包括：

S3.1从网络流初始特征中提取网络流连接特征，包括Land、Offset、Is_max_length_pkg_exc等3个特征；

表5网络流连接特征

S3.2从网络流初始特征中提取高级统计特征，包括Error_rate、Serror_rate、Outside_pkg_persecond、Outside_byte_per_second、Inside_pkg_per_second、Inside_byte_per_second、Pkg_per_second、Byte_per_second、Outside_of_total_pkg、Outside_of_total_byte等10个特征。如表6所示，为上述网络流高级统计特征所表示的含义。

表6网络流高级统计特征

以下通过具体实施例来详细说明本发明的内容。

如图2所示为将网络流特征向量提取方法应用于基于免疫的入侵检测系统的示意图。

详细步骤如下：

S1、寻找新进网络包在网络流表中对应的网络流；

步骤S1中进一步包括：

S1.1判断网络包的方向，并将其转换为由监控网络内部到外部的方向。若为监控网络内部主机交换的网络包，则认定与该网络流对应的第一个网络包的方向为从监控网络外部到内部方向；

S1.2若在网络流表中存在与转换后的网络包对应的网络流，则转向步骤S2；

S1.3若在网络流表中不存在与转换后的网络包对应的网络流，则为该数据包创建一个新的网络流插入网络流表中；

S2、利用网络包更新网络流的初始特征；

步骤S2进一步中包括：

S2.1若网络包为对应网络流的第一个网络包，则用其更新网络流初始特征中的网络流基本信息，并从其中提出Protocol特征；

S2.2使用网络包更新对应网络流的基本统计特征，包括Duration、Flag、Total_pkg、Total_byte、Num_of_urgent等5个特征；

S2.3使用网络包更新对应网络流的横向统计特征，包括Inside_pkg_window、Outside_pkg_window、Flow_count、Diff_serv_flow_count、Same_serv_flow_count、Dst_diff_flow_count等8个特征；

S3、网络流终结后，从网络流初始特征里面提取网络流高级特征；

步骤S3进一步包括：

S3.1从网络流初始特征中提取网络流连接特征，包括Land、Offset、Is_max_length_pkg_exc等3个特征；

S3.2从网络流初始特征中提取高级统计特征，包括Error_rate、Serror_rate、Pkg_per_second、Byte_per_second等4个特征。

S4、将提取的21个特征组成特征向量，输入到基于免疫的入侵检测引擎进行检测。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (5)

1.一种网络流特征向量提取方法，其特征在于，该方法包括步骤：

S1.查找捕获到的新进网络包在网络流表中对应的网络流；

S2.根据所述网络包更新其所对应的网络流的初始特征；

S3.判断网络流是否终结，若是，则从网络流的初始特征中提取网络流高级特征，否则，返回步骤S1；

步骤S1进一步包括：

S1.1判断所述捕获的新进网络包的方向，并将其转换为由监控网络内部到外部的方向；

S1.2若在所述网络流表中存在与转换后的网络包对应的网络流，则执行步骤S2，否则，继续执行步骤S1.3；

S1.3为所述网络包创建一个新的网络流，并将其插入到所述网络流表中；

在步骤S2中，所述初始特征包括：网络流的基本信息、网络流的基本统计特征、以及网络流的横向统计特征；

步骤S2进一步包括：

S2.1若所述网络包为其对应的网络流的第一个网络包，则根据所述网络包更新其对应的网络流的基本信息；

S2.2根据所述网络包更新其对应的网络流的基本统计特征；

S2.3根据所述网络包更新其对应的网络流的横向统计特征。

2.如权利要求1所述的网络流特征向量提取方法，其特征在于，步骤S1前还包括建立用于存储网络流信息的所述网络流表的步骤。

3.如权利要求1所述的网络流特征向量提取方法，其特征在于，所述网络流采用现金登记模型描述。

4.如权利要求1所述的网络流特征向量提取方法，其特征在于，在步骤S3中，所述高级特征包括网络流连接特征以及网络流高级统计特征。

5.如权利要求4所述的网络流特征向量提取方法，其特征在于，步骤S3进一步包括：

S3.1从网络流初始特征中提取网络流连接特征；

S3.2从网络流初始特征中提取网络流高级统计特征。