CN105071985B - 一种服务器网络行为描述方法 - Google Patents

Abstract

本发明公开了一种服务器网络行为描述方法，包括以下步骤：（1）获取出入服务器的流量信息；（2）根据流量属性对流量信息进行抽取，按时间窗口对各流量属性对应流量进行统计，构成历史数据；（3）对历史数据进行计算得到基于流量结构稳定性的系统参数；（4）构建动态正常流量轮廓；（5）构建当前流量结构；（6）用差异性度量方法比较正常流量轮廓和当前流量结构，根据差异值大小判断网络是否正常；本发明可以适应日趋复杂的网络环境，可以检测出部分新型网络攻击，可以在检测中占据主动地位。

Description

一种服务器网络行为描述方法

技术领域

本发明涉及网络异常流量检测行为描述方法，特别是一种基于流量结构稳定性的服务器网络行为描述方法。

背景技术

服务器通常作为IT系统中的核心设备提供网络服务，因此服务器的安全防护显得尤为重要；针对服务器网络安全防护问题，根据防护手段特点可主要分为以下三类：(1)基于网络边界部署入侵检测系统、防火墙等防护设备；(2)基于服务器日志关联分析与挖掘；(3)对服务器进行流量分析。

目前，对服务器安全防护的主要手段是在网络边界部署IDS、IPS、防火墙等边界设备，对进出服务器的流量进行检测和过滤；Snort是目前最常用的一个轻量级网络入侵检测系统，通常以基于规则的方式对特定网络攻击的流量特点进行描述，当数据包或流量符合某条规则，则产生一条告警；此外也有许多基于Snort进行改进的入侵检测模型，比如将基于特征值的多模式匹配算法应用到Snort的检测引擎模块中、结合多种防护设备(如IPTABLES等)联动的入侵防御系统等。

基于日志的服务器安全检测主要通过数据挖掘、模式识别、关联分析等方法对服务器日志信息进行全方位的分析，从而检测服务器面临的攻击和潜在的威胁；比如，对服务器事件进行时间分布统计、周期模式挖掘和孤立点分析，从而用于服务器异常事件的检测；以日志分析为基础、结合关联规则与联动技术对安全事件进行检测等。

从流量分析角度检测服务器网络异常，根据流量分析方法，可主要分为基于统计分析、信号处理、数据挖掘、机器学习等网络流量异常检测；比如，基于流量自相似统计特性的异常流量检测模型；基于小波分析的网络流量异常检测方法；基于数据挖掘算法抽取流量特征并实现入侵检测；基于贝叶斯网络与时间序列分析的异常流量检测方法；基于神经网络的网络流量检测方法等。

当前入侵检测的主要做法主要都是基于误用检测的思路，针对特定的网络攻击特点，编写特定的流量检测模式，然后将采集的流量数据与已知攻击模式进行比对。其原理如图1所示，根据对已知的攻击或入侵的特征做出确定性的描述，形成相应的规则并汇总成一个特征库。检测时，将网络采集的数据与特征库中的已知攻击和入侵特征规则进行一一比对，如果发现与特征库的规则匹配，则报告为入侵，作入侵响应处理；反之则报告为正常数据，流量正常通过。

误用检测通过建立攻击样本描述每一种攻击的特殊模式来检测异常，该方法能准确检测已知的攻击或入侵，并且可提供详细的攻击类型和说明，是目前入侵检测商用产品中使用的主要方法。该检测方式与计算机病毒的检测方式类似，其查全率完全依赖于规则库的覆盖范围，一旦攻击者修改攻击特征模式来隐藏自己的行为，这种检测方法就显得无能为力，因此对新型攻击或入侵的检测效果很差，会产生较高的漏报率；出现新的攻击手段时，需要把新的规则和检测方法加入特征库，因此需要不断更新和维护特征库；此外，为了对多种攻击进行检测，系统需要维护一个庞大的攻击模式库，检测时必须与模式库中的规则一一匹配，因此系统代价较高。

当前入侵检测的主要做法都是基于误用检测的思路，针对特定的网络攻击特点，编写特定的流量检测模式，然后将采集的流量数据与已知攻击模式进行匹配；基于流量异常特征的检测方法的缺点是，必须针对每种攻击编写对应的规则才能检测出异常，然而随着网络及应用环境日趋复杂，原有策略难以检测出层出不穷的新型网络攻击，而且在不同应用场景下，对网络异常的界定更是存在许多分歧，因此基于异常特征的检测方法适应性及扩展性日益难以满足防护需求。

发明内容

本发明提供一种服务器网络行为描述方法。

本发明采用的技术方案是：一种服务器网络行为描述方法，包括以下步骤：

(1)通过数据包嗅探模块获取出入服务器的流量信息；

(2)通过流量属性抽取与计算模块将流量信息根据流量属性进行抽取，按时间窗口对各流量属性对应流量进行统计，构成历史数据；

(3)通过与历史数据实时交互的系统参数学习模块对获取的历史数据进行计算，得到基于流量结构稳定性的系统参数；

(4)根据系统参数和历史数据构建动态正常流量轮廓；

(5)根据当前流量信息，构建当前流量结构；

(6)将正常流量轮廓和当前流量结构用差异性度量的方法比较，根据差异值大小判断网络是否正常。

作为优选，所述系统参数学习模块的计算步骤如下：

A、以时间窗口为单位获取流量结构属性值，表示当前时间窗口的流量结构，得到基于时间窗口的流量结构样本；

B、剔除流量结构样本中的异常值，获得正常流量结构样本；

C、根据正常流量结构样本，分别统计各流量属性的标准差σ和平均值μ，计算对应属 性的变异系数c_v：

D、计算对应属性的稳定系数α(n)：

E、得到基于稳定系数的系统参数。

作为优选，所述步骤B基于格拉布斯准则对样本进行异常值剔除。

作为优选，所述流量结构采用可视化的饼图表示，每个扇形表示流量的一种属性，第n个属性对应扇形的角度θ(n)计算方法如下：

将数据进行归一化处理，正常流量轮廓作为基准饼图，当前流量结构作为比较饼图，两个饼图对应扇形的面积差为偏离度的衡量值。

本发明的有益效果是：

(1)本发明基于正常流量稳定性，对异常流量进行检测，对新型网络攻击检测准确度高，降低网络攻击的漏报率；

(2)本发明以可视化的饼图对流量结构进行描述，结果更加直观和可靠；

(3)本发明构建动态的流量结构，充分考虑当前流量规模及特点。

附图说明

图1为本发明流程图。

图2为本发明基本原理示意图。

图3为本发明中流量结构基准示意图。

图4为本发明结构流量示意图。

图5为本发明差异性度量示意图。

图6为本发明流量结构属性中标志位熵的缓慢变化特性及周期性。

图7为本发明流量结构属性中平均包长的缓慢变化特性及周期新。

图8为基于误用检测的技术方案原理图。

图9为SYN包比例流量属性的统计结果。

图10为IP信息熵流量属性的统计结果。

图11为IP相关性流量属性的统计结果。

图12为TTL流量属性的统计结果。

图13为邮件服务器服务端口分布。

图14为邮件服务器协议分布。

图15为邮件服务器数据包长分布。

图16为邮件服务器数据包访问情况分布。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

一种服务器网络行为描述方法，包括以下步骤：

(1)通过数据包嗅探模块获取出入服务器的流量信息；

(2)通过流量属性抽取与计算模块将流量信息根据流量属性进行抽取，按时间窗口对各流量属性对应流量进行统计，构成历史数据；

(3)通过与历史数据实时交互的系统参数学习模块对获取的历史数据进行计算，得到基于流量结构稳定性的系统参数；

(4)根据系统参数和历史数据构建动态正常流量轮廓；

(5)根据当前流量信息，构建当前流量结构；

(6)将正常流量轮廓和当前流量结构用差异性度量的方法比较，根据差异值大小判断网络是否正常。

所述系统参数学习模块的计算步骤如下：

A、以时间窗口为单位获取流量结构属性值，表示当前时间窗口的流量结构，得到基于时间窗口的流量结构样本；

B、剔除流量结构样本中的异常值，获得正常流量结构样本；

C、根据正常流量结构样本，分别统计各流量属性的标准差σ和平均值μ，计算对应属性的变异系数c_v：

D、计算对应属性的稳定系数α(n)：

E、得到基于稳定系数的系统参数。

所述步骤B基于格拉布斯准则对样本进行异常值剔除；所述步骤E中计算偏离度阈值采用机器学习算法。

所述流量结构采用可视化的饼图表示，每个扇形表示流量的一种属性，第n个属性对应扇形的角度θ(n)计算方法如下：

将数据进行归一化处理，正常流量轮廓作为基准饼图，当前流量结构作为比较饼图，两个饼图对应扇形的面积差为偏离度的衡量值。

设定每个饼图的扇形数为N，feature(n)为第n个扇形对应的属性，r_{sector(base,n)}为基准饼图的第n个扇形的半径，默认为1，r_{sector(comp,n)}为比较饼图的第n个扇形的半径，表示feature(n)的实际值与正常行为轮廓中对应属性值的比例关系；两个饼图的扇形面积差diff(n)计算方法如下：

当diff(n)超过设定阈值时，说明当前流量结构偏离正常流量轮廓的程度较大，则判定为异常，系统会发出警报。

本发明主要针对服务器进行防护，网络对服务器的访流量通过交换机镜像到另一台主机上，将本发明的数据包嗅探模块部署到主机上，实现对出入服务器的流量进行捕获和分析根据流量属性构建稳定性模型对服务器网络行为进行建模，并对服务器网络异常流量进行检测。将特定的系统程序部署于需要探测的服务器上，指定服务器的运行参数，如服务器IP、服务器网卡、时间窗口大小、数据包捕获过滤规则等，这样就可以运行系统，对特定数据包进行捕获和分析，提取出系统需要的流量信息。

流量属性抽取与计算模块的功能是根据数据包嗅探模块捕获的数据包进行统计分析，抽取出感兴趣的流量属性并进行分析；这里主要按照时间窗口对流量进行统计，主要的统计内 容包括：

(1)以端口号为统计项，以数据包数为统计值；

(2)以协议(TCP、UDP、ICMP等)为统计项，以数据包数为统计值；

(3)以数据包长为统计项，以数据包数为统计值；

(4)以TTL值为统计项，以数据包数为统计值；

(5)统计SYN包数及数据包总数；

(6)以源IP及访问的端口号为统计项，以相应的数据包数为统计值；

(7)以源IP为统计项，以对应数据包数为统计值。

基于上述统计内容，在每个时间窗口结束的时候，统一对流量属性进行计算。

异常检测模块将正常网络行为表示成一个正规饼图，根据实际流量信息将当前网络流量结构表示成Spie Chart形式，然后根据本发明提出的Pie Chart与Spie Chart的差异性度量方法比较当前流量结构与正常轮廓的差异，最后根据差异值的大小判断网络是否正常。

本发明基于正常情况下流量固有稳定性及特定服务表现出的稳定性，对异常流量进行检测；抽取和选择出一系列描述稳定性属性，以不同稳定系数的流量属性表示成流量结构，以流量结构表示当前网络状态，然后根据历史数据动态构建适用于当前流量结构的正常流量轮廓；正常网络行为轮廓不是一个经过学习得到的静态的、固定的网络轮廓，而是充分考虑当前流量规模及特点，从而定义一个适合描述当前流量结构。

本发明提出的流量结构指一定期间网络流量各属性值的大小、规模、分布及变化的综合状态，说明网络流量在特定时间内的统计特性和综合表现情况，其中主要基于熵、相关性等数学方法，对特定时间窗口内的流量统计属性进行描述，综合各属性值从而表示流量结构的概念；因此某时刻的网络流量结构由一系列描述正常流量稳定性的流量属性组成；由于每个流量属性的稳定性存在差别，本发明使用稳定系数来描述各属性的稳定程度，令第n个属性的稳定系数表示为α(n)，α(n)越大，表明越稳定，同时也表明该流量属性在流量结构中占的比重越高。

为了表示流量结构，根据历史数据的统计结果和系统参数学习模块的计算结果，抽取和选择一系列描述稳定性的流量属性，并根据不同的稳定系数对各流量属性进行组织，以构建网络流量结构对网络状态进行描述；一般情况下，需要提出的稳定性流量属性包括：

(1)服务端口分布熵

以端口为统计项，以数据包为统计值，最后计算对应熵值，用于评估远程主机访问当前服务器的端口分布情况。

(2)协议分布熵

协议分布熵指当前时间窗口内数据包的协议(TCP、UDP、ICMP等)分布情况。

(3)数据包长分布熵

数据包长分布熵用于评估数据包长的分布情况。

(4)TTL分布熵

TTL分布熵指数据包的TTL值的分布情况。

(5)SYN包比例

SYN包比例指当前时间窗口内SYN标志位置1的数据包比例。

(6)端口访问指数

端口访问指数是对特定IP访问服务器端口综合情况的定量评估。

(7)相邻时间窗口源IP相关性

源IP相关性对相邻时间窗口的源IP的相关性进行评估。

(8)源IP信息熵

源IP信息熵以源IP为统计项，以相关数据包数为统计值，最后计算对应熵值。

一般流量结构统计信息包括以上几种，但是也需要根据特定的服务器类型和统计数据选取需要统计的流量结构的属性；各属性在短时间内具有相对的稳定性，在较长时间段内存在缓慢变化过程；如图6和图7所示，五天时间内标志位熵和平均包长的统计结果表示，这两个属性的属性值在一天各个时间段都各有不同，而且存在周期性的缓慢变化过程；因此难以使用一个静态的、恒定不变的网络行为轮廓对服务器在任一时刻的网络行为进行描述，本发明基于动态网络行为轮廓对服务器流量进行描述，本发明中历史数据随时更新；不定义一个静态的、固定的正常流量结构，而是充分考虑当前流量规模及特点，定义一个适合描述当前流量状态的正常流量轮廓；本发明基于当前时间窗口前N个无明显异常的流量结构构建当前时刻的动态网络行为流量轮廓，这里主要基于格拉布斯准则提取异常数据，并使用均值替换，从而获得正常流量结构样本；获得正常样本后，对所有正常样本的每个属性分别求其均值，从而得到一个由每个属性均值组成的流量结构，作为当前时刻的正常网络行为结构。

正常网络流量的固有稳定性表现出在任何应用和场景下，流量在某些属性上都表现出的稳定性，当这类属性严重偏离正常属性值时，往往预示着网络异常的出现；特定服务的流量稳定性表现表示的是由服务器承载的特定服务和应用带来的在流量层面的稳定性表现，当这类稳定性减弱时，往往表示服务器由于某种因素干扰而无法提供正常服务；因此正常流量固有的稳定性能够刻画正常网络流量的流量结构，同时将异常网络流量区分开来；比如网络流量中的SYN包的比例总体较小，当网络流量达到一定规模时，SYN包的比例在短时间内也 能表现出一定的稳定性，如果发生SYN包的比例显著增大的情形，则很说明服务器的网络流量在某些方面出现了异常，通常SYN扫描或类似攻击会引起SYN包比例显著提高。

图9-12为对SYN包比例、IP信息熵、IP相关性、TTL分布四个流量属性的统计结果；如图9所示，SYN包比例属性考察的是在特定时间间隔内，SYN标志为1的数据包占总数据包的比例；图9为对连续1000个时间窗口对SYN包比例的统计结果，每个散列点表示对应时间窗口的SYN包比例，由图可看出散列点基本集中于10^-2数量级的位置，且较稳定，因该属性值较小不便展示，因此对X轴坐标做了对数处理；从图可以看出SYN包比例属性从统计学的角度来看具有一定的稳定性，如果该属性发生显著变化，则可能是受到了攻击，在可视化的饼图中表现为对比饼图中相应的扇形面积与基准饼图对应的扇形面积差超过设定的阈值，系统会发出警示；如图10所示，IP信息熵是对特定时间间隔内访问IP的分散情况的描述，属性值稳定维持于4左右，如果该属性值发生显著变化，则可能是受到了攻击，在可视化饼图中表现为对应扇形面积与基准饼图对应的扇形面积差超过设定阈值，系统发出警示；如图11所示，正常情况下短时间间隔内IP访问的相关性基本上在0.99以上，如果短时间内IP访问的相关性发生突变，在可视化的饼图中表现为相应的扇形面积与基准饼图对应的扇形面积差超过设定的阈值，系统会发出警示；图12为TTL(生存时间值)在(0-255)出现的概率分布情况，显示TTL属性在某些值上集中体现，在64及52处出现的概率最大；如果该属性值发生显著变化，则可能是受到攻击，在可视化饼图中表现为对应扇形面积与基准饼图对应的扇形面积差超过设定阈值，系统会发出警示。

特定的服务和应用的特点以及网络用户的习惯等特点，也能够导致流量在某些属性表现出稳定性，这种由业务特性以及用户特性带来的宏观稳定性通常不具有一般性，而由服务器的功能决定；所以在对不同的服务器进行监测时，系统根据统计的历史数据和计算结果确定需要统计的网络流量属性结构；例如对于一台邮件服务器而言，其SMTP(简单邮件传输协议)及POP3(邮局协议版本3)的流量必然占大多数，如果网络中突然P2P流量居多，则表明可能出现异常。

图13-16为对一台邮件服务器流量属性统计的结果，如13为其服务器端口分布情况统计，图13表明对当前观测服务器而言，25(SMTP服务)、80(HTTP(超文本传输协议)服务)及110(POP3)端口访问较多，其他端口访问较少；如果突然出现某个端口访问过大或过小，则可能是受到外部攻击；图14为邮件服务器协议分布统计结果，主要包括TCP(传输控制协议)、UDP(用户数据报协议)及ICMP(控制报文协议)；从图中可以看出UDP和ICMP所占比例较少；由图14可以看出TCP流量占了绝大多数，UDP及ICMP比例基本在10^-2至10^-4之间，且UDP比例略过于ICMP比例；图15为IP包负载长度分布的统计结果，数据包长分 布反映的是网络中各种长度的包的组成情况；由图15可知当前网络环境下数据包长度出现两极分化的情况，即短包(30-50左右)和满负载的包(接近MTU的最大值)，而其他长度的数据包比例较小；如果数据包分布结构突然出现变化，则表明网络可能受到攻击，系统会发出警示；图16为访问端口分布情况统计结果，数据包访问情况描述的是每个IP访问服务器端口个数的情况，由服务器提供服务的单一性和一致性决定了每个IP能访问的服务器的端口数较少且基本一致；由图16可知，在每个时间窗口内，绝大多数IP访问服务器端口数小于3，当某些IP访问服务器大量端口时，则表明可能发生网络攻击，系统会发出警示。

本发明解决了基于误用的检测方法带来的问题，将关注重点从刻画异常转移到描述正常，采用基于异常的检测思想检测网络攻击和异常流量；基于正常流量稳定性原理对异常流量进行检测，抽取和选择出与相应服务器类型相适应的一系列描述稳定性的属性，以不同系数的流量属性表示成流量结构，以流量结构表示当前网络状态；然后根据历史数据动态构建适用于当前流量结构的正常网络行为轮廓；用差异性度量的方法比较当前流量结构与正常流量结构的差异，根据差异值大小判断网络是否正常。

本发明可以检测出层出不穷的新型网络攻击，适应日趋复杂的网络环境，在检测中占据主动地位。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种服务器网络行为描述方法，其特征在于：包括以下步骤：

(1)通过数据包嗅探模块获取出入服务器的流量信息；

(2)通过流量属性抽取与计算模块将流量信息根据流量属性进行抽取，按时间窗口对各流量属性对应流量进行统计，构成历史数据；

(3)通过与历史数据实时交互的系统参数学习模块对获取的历史数据进行计算，得到基于流量结构稳定性的系统参数；

(4)根据系统参数和历史数据构建动态正常流量轮廓；

(5)根据当前流量信息，构建当前流量结构；

(6)将正常流量轮廓和当前流量结构用差异性度量的方法比较，根据差异值大小判断网络是否正常；

所述系统参数学习模块的计算步骤如下：

A、以时间窗口为单位获取流量结构属性值，表示当前时间窗口的流量结构，得到基于时间窗口的流量结构样本；

B、剔除流量结构样本中的异常值，获得正常流量结构样本；

C、根据正常流量结构样本，分别统计各流量属性的标准差σ和平均值μ，计算对应属性的变异系数c_v：

<mrow> <msub> <mi>c</mi> <mi>v</mi> </msub> <mo>=</mo> <mfrac> <mi>&amp;sigma;</mi> <mi>&amp;mu;</mi> </mfrac> <mo>;</mo> </mrow>

D、计算对应属性的稳定系数α(n)：

<mrow> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mi>l</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>c</mi> <mi>v</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>c</mi> <mi>v</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

E、得到基于稳定系数的系统参数。

2.根据权利要求1所述的一种服务器网络行为描述方法，其特征在于：所述步骤B基于格拉布斯准则对样本进行异常值剔除。

3.根据权利要求1所述的一种服务器网络行为描述方法，其特征在于：所述流量结构采用可视化的饼图表示，每个扇形表示流量的一种属性，第n个属性对应扇形的角度θ(n)计算方法如下：

<mrow> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

将数据进行归一化处理，正常流量轮廓作为基准饼图，当前流量结构作为比较饼图，两个饼图对应扇形的面积差为偏离度的衡量值。