CN101980506B - 一种基于流量特征分析的分布式入侵检测方法 - Google Patents

Abstract

一种基于流量特征分析的分布式入侵检测方法，基于JADE平台，采用智能决策分析代理和数据采集、独立入侵条件监测代理实施入侵检测：数据采集、独立入侵条件监测代理针对入侵特征明确的网络入侵行为进行检测；智能决策分析代理通过改进的非参数CUSUM算法——阈值回归算法，将网络流量中不同统计特征量，包括流量带宽、新源IP地址等进行综合监测并结合数据采集、独立入侵条件代理传送的相关信息实现网络异常检测，有效提高入侵检测效率和准确性。该方法通过监测新源IP地址可以有效地区分不同的网络流量模式，进一步降低入侵检测系统的误报率。

Description

一种基于流量特征分析的分布式入侵检测方法

【技术领域】

本发明提出一种高性能的基于异常的分布式入侵检测方法，用于检测计算机网络系统遭受的各种攻击。 

【背景技术】

入侵检测是指通过从计算机网络或计算机系统中若干关键点收集信息并对其进行分析，从中发现网络或系统中是否存在违反安全策略的行为和遭到攻击的安全技术。技术上，入侵检测方法分为基于异常的检测和基于误用的检测两类。基于误用的检测方法只能针对已知入侵行进行有效检测，无法检测新的入侵行为。而传统的基于异常的检测方法也存在异常行为难以定义和判断而导致的误报率高的缺陷。 

在入侵检测技术方面，近年来，人们进行了大量的研究和试验，提出了多种检测方法，并将其他领域的技术引入到入侵检测上，这些方法对于特定入侵和攻击行为的检测具有一定的适用性。但总的来说，入侵检测方法还有待进一步研究和完善，面对日益复杂的高速网络与越来越新颖的入侵和攻击手段，检测精确度和速度成为影响入侵检测系统性能的主要因素，误检与漏检仍然是实施入侵检测的关键难点问题。 

基于流量的入侵检测方法是近年来提出的较新的基于异常的入侵检测方法，它主要通过对网络流量的异常分析来发现和识别入侵行为，但目前基于流量的网络入侵检测系统仍然不够成熟，主要面临如下问题： 

(1)检测效率和检测速度的问题 

网络安全设备的处理速度一直是影响网络性能的一大瓶颈。虽然IDS通常以并联方式接入网络，但如果其检测速度和网络数据传输速度不匹配，检测系统就会漏掉其中的部分数据包，从而导致漏报而影响系统的准确性和有效性。在IDS中，截获网络的每一个数据包，并分析、匹配其中是否具有某种攻击的特征需要花费时间并消耗系统资源，因此，单纯依靠单个节点或设备实施入侵检测任务难以满足入侵检测的复杂模型和处理能力的要求。同时，应用系统越来越复杂，许多主体活动很难以简单的统计模型来刻画，而现有的复杂的统计模型在计算量上不能满足实时的检测要求。需要提出新的理论模型、检测方法和体系结构来对网络流量活动进行实时有效的统计分析与建模。分布式入侵检测方法可以有效提高单一检测节点的检测效率问题。 

(2)入侵检测系统的漏报和误报率较高 

基于异常发现的入侵检测系统通过流量统计分析建立系统正常行为的轨迹，当系统运行时的数值超过正常阈值，则认为可能受到攻击，这种简单的判断方法容易导致其漏报误报率较高。另外，大多IDS是基于单包检查的，协议分析不足，难以识别伪装或变形的网络攻击，也易造成漏报和误报。同时，统计方法中的阀值难以有效确定，阀值过小会产生大量的误报，过大则会产生大量的漏报。因此，如何提高监测的准确度是基于流量的入侵检测系统必须解决的问题。 

(3)入侵检测算法的有效性问题 

入侵检测系统的检测方法有特征检测、异常检测、状态检测、协议分析等。实际中的商用入侵检测系统大都同时采用几种检测方法。但是入侵检测系统不能处理加密后的数据，如果数据传输中被加密，即使只是简单的替换，入侵检测也难以处理，例如采用SSH、HTTPS、带密码的压缩文件等手段，都可以有效的防止检测。所以在基于网络流量统计分析的入侵检测研究中考察的网络信息应该是内容无关的。 

【发明内容】

为了克服传统入侵检测方法检测准确率和检测效率低的问题，本发明专利提出一种基于 特定流量检测算法的分布式入侵检测方法，主要包括两部分；一是提出一种高效的基于流量特征分析的入侵检测算法；二是提出一种分布式多Agent体系结构，利用分布式框架和体系结构提高入侵检测效率。 

算法方面，利用网络的自相似特性来对网络的异常行为进行检测，针对网络流量中实时的Hurst参数估计算法将被进行详细的分析与评估，据此提出测量度量指标。通过非参数CUSUM算法对网络流量中不同统计特征量，包括流量带宽、新源IP地址等进行综合监测来实现网络入侵检测；同时，为克服非参数CUSUM算法对入侵结束时刻判断迟缓的特点，提出阈值回归算法对非参数CUSUM算法进行改进，从而大大提高检测的灵敏度和准确性。 

体系结构方面，针对入侵检测效率问题，本发明利用基于JADE的分布式架构带来的高性能、高灵活性等特点，引入分布式多Agent入侵检测框架，通过多AGENT方法提高系统的检测效率。 

具体技术方案描述如下： 

1.基于JADE的分布式入侵检测框架 

本发明专利提出的入侵检测方法基于JADE平台，将系统中的代理分为两类：智能决策分析代理和数据采集、独立入侵条件监测代理。其中，数据采集、独立入侵条件监测代理主要针对入侵特征明确的网络入侵行为进行检测；而智能决策分析代理作为本入侵检测系统的重点，本发明通过非参数CUSUM算法负责对网络流量中不同统计特征量，包括流量带宽、新源IP地址等进行综合监测并结合数据采集、独立入侵条件代理传送的相关信息实现网络异常检测，特别是针对DOS或DDOS攻击的检测。系统体系结构如图1所示。 

2.阈值回归算法 

非参数CUSUM算法在实际应用中能够有效地检测出监测统计量的突变时间点，但是当网络入侵停止时，整体监测统计量的算术均值不能迅速及时地到门限值以下。这就造成使用非参数CUSUM算法进行入侵检测难以及时判断网络入侵行为的停止时刻，由此会造成对于网络入侵行为的误报。 

系统产生如图2所示的网络入侵流量特征时，系统的y_n值与网络流量之间的关系如图3所示。在这一情况下由于攻击结束的时候y_n值的回归速度较慢，这样导致200秒处发生第二次攻击时y_n值仍然大于阈值N，这导致系统会将两次攻击错误地识别成一次。 

为解决这一问题，本发明提出阈值回归算法。算法的思想类似于TCP协议在拥塞控制问题上的方法。即为y_n值设置一个时间窗在该时间窗内计算y_n值函数随时间变化的斜率。如果在时间窗内，Q个连续时间间隔ΔT_k中y_n值的变化斜率连续为负值且在特定斜率阈值γ(γ＜0)区间内则将y_n值减半，即有如下公式： 

Ω_k＝(y_k-y_k-1)/ΔT_k(k＝0，1，2...) 

${\mathrm{Count}}_k\≥Q\⇒y_n=y_{n-1}/2$

DOS或DDOS攻击这一类通过增加网络带宽负载迫使攻击目标服务器不能正常为合法用户提供服务的网络入侵行为，在攻击发生时的相应统计量特征具有一定程度的相似性。以SYNflood攻击为例，攻击发生时SYN半连接数据包数量为正常值的数十倍，其他增加网络带宽负载的拒绝服务攻击在攻击时会向目标服务器发送高过带宽数倍乃至数十倍的非法数据信息。当这些攻击行为停止时，相应的流量特征数值会骤减，恢复至攻击发生前的平均正常水平。这一情况在非参数CUSUM算法所监测的统计量数值的计算结果中体现为z_n恢复到特定的负值范围内。由y_n的递归公式，Z_n值的恢复会造成监测数值以特定范围的速率下降，因此只要监测到这一个下降趋势就可以初步断定网络攻击的结束。根据初步判定结果，将y_n数值试 探性减半，进行进一步判定。如果判定失误，攻击仍在继续y_n值会迅速恢复到攻击报警时的y_n值水平；如果判定正确y_n值会进一步减半直至恢复至零值状态。上述公式正是利用这一原理来加速y_n值的回归。 

本发明提出的入侵检测系统选取如下网络流量统计特征指标：(1)外部网络与内部网络之间第一英里路由的下行网络流量；(2)新源IP地址；(3)SYN包数量、FIN包及RST包的数量之和在总数据包中的比例。 

外部网络与内部网络之间第一英里路由的下行网络流量，这一特征指标可以反映出一类以增加网络带宽负载对网络服务器实现攻击的网络入侵行为。当这一类攻击发生时，受害网络的第一英里路由下行网络流量会急剧增加，超过合法网络带宽上限，造成网络拥塞致使受攻击网络瘫痪无法为合法用户提供正常的网络服务。 

新源IP地址分为三种。第一种是正常网络流量模式，此时没有网络攻击或拥塞情况发生。第二种情况是瞬间拥挤模式，这种情况当大量合法用户开始连接如一个网站时发生。最后一种情况也就是分布式拒绝服务攻击下的模式。设A为在一个时间间隔内网络数据包的数量，B为在该时间间隔内新出现的源IP地址数量。NTMP为网络流量监测点的位置。 

因此通过监测新源IP地址可以有效地区分出这三种网络流量模式，进一步降低入侵检测系统的误报率。

SYN包数量、FIN包及RST包的数量之和在总数据包中的比例，这一特征指标的监测主要用于应对SYNflooding攻击。正常情况下TCP数据包中带有SYN标志位的数据包数量与带有FIN或RST标志位的数据包数量大致相当。也就是说在正常网络数据流当中SYN包数的量与FIN包及RST包数的量之和应该是大致相当的，两者在总数据包中的比例的差值应该是一个近似于零的数。而当发生SYNflooding攻击时这一差值会为正且远大于正常值。正是利用这个原理，通过检测差值的变化情况从而判断出检测端是否受到SYNflooding攻击。 

本发明将高效的入侵检测算法与多Agent分布式入侵检测架构相结合，提出基于流量分析的分布式多Agent入侵监测方法。该方法在分布式框架环境中实现入侵检测，利用非参数CUSUM入侵检测方法，通过对外部网络与内部网络之间第一英里路由的下行网络流量；新源IP地址；SYN包数量、FIN包及RST包的数量之和在总数据包中的比例这三类网络流量特征指标进行监测，达到及时准确地检测网络入侵行为的目标。本发明提出的入侵检测方法针对一般的网络入侵行为，特别是分布式拒绝服务攻击DDOS具有高效检测能力。 

【附图说明】

图1是分布式入侵监测系统体系结构； 

图2是附加攻击流量特征； 

图3是y_n值与网络流量之间的关系； 

图4是入侵检测系统部署图； 

图5是系统软件功能框架图； 

图6是智能分析Agent内部结构； 

图7是分布式入侵检测系统的活动图。 

【具体实施方式】

本发明提出的入侵检测体系结构和流量特征算法等方法的实施通过一个实际的入侵检测系统来实施，入侵检测系统的部署结构如图4所示。 

图4中，入侵检测系统包括两种类型的节点： 

(1)部署智能分析和决策Agent的节点：该类型节点设置了局域网连接外部网络的路由端口镜像，即从该类节点可以分析或捕捉到整个网络的上行或下行网络流量。在该节点部署智能分析和决策Agent，这样Agent的网络流量分析模块可以对整个网络的流量特征统计量进 行采集，交由智能分析模块应用CUSUM算法进行分析。在该节点处的接口主要有：流量数据采集接口、其他代理通信接口、管理员操控接口。 

(2)部署单一特征入侵检测Agent的节点：该类型节点可以捕捉到对端类型的网络攻击，在该类节点处部署单一特征入侵检测Agent对上述类型攻击新型检测。该节点处的主要接口有：数据包分析接口、终端报警接口。 

入侵检测系统的软件系统结构层次如图5所示。明确特征检测Agents包括：通信模块、Land攻击检测代理、Ping of Death攻击检测代理、WinNude攻击检测代理、SYNflood攻击检测代理、扫描攻击检测代理。其中Land攻击是一种拒绝服务攻击，Ping Of Death攻击是一种拒绝服务攻击，WinNuke攻击是一种拒绝服务攻击，SYN food攻击是一种拒绝服务攻击。 

图5中，入侵检测系统构建在JADE分布式平台之上，包括多个智能分析引擎，利用智能Agent实现，智能Agent内部模块结构图如图6所示。 

网络数据采集模块实时监听并搜集网络流量信息，从收集到的信息中筛选出用于网络异常判断的特征统计量。在这个过程中系统需要对每个流经路由端口的网络数据包按封装层次进行分析。随后特征统计量信息被传输至决策模块，决策模块中应用非参数CUSUM算法进行异常判断并将判断结果送入控制终端，即用户图形接口显示报警信息。 

各个入侵检测之间的代理依靠通信模块进行通信，明确特征入侵检测代理向智能分析决策模块发送实时检测数据，由决策模块做出判定之后发送至IDS控制台显示判定结果。该判定结果还根据网络流量采集分析模块的数据给出最终检测结论，其活动图如图7所示。 

Claims (1)

1.一种分布式入侵检测方法，其特征是：采用阈值回归算法和分布式代理部署方式，有效提高入侵检测效率和准确性；基于JADE平台，将系统中的代理分为智能决策分析代理和数据采集与独立入侵条件检测代理；数据采集与独立入侵条件检测代理针对入侵特征明确的网络入侵行为进行检测；智能决策分析代理通过阈值回归算法对网络流量中不同统计特征量进行综合检测并结合数据采集与独立入侵条件代理传送的相关信息实现基于异常的网络入侵检测，统计特征量包括：（1）外部网络与内部网络之间第一英里路由的下行网络流量；（2）新源IP地址；（3）SYN包数量、FIN包及RST包的数量之和在总数据包中的比例；所述阈值回归算法为：为y_n值设置一个时间窗，在该时间窗内计算y_n值随时间变化的斜率，y_n值为每秒钟到达的新IP地址数；如果在时间窗内，Q个连续时间间隔ΔT_k中y_n值的变化斜率连续为负值且在特定斜率阈值γ区间内，其中γ＜0，则将y_n值减半；即使用如下公式： 

Ω_k=(y_k-y_k-1)/ΔT_k，k＝0，1，2，3... 

γ＜0。 

Images