CN1257632C - 一种坚固网关系统及其检测攻击方法 - Google Patents

Abstract

本发明公开了一种坚固网关系统，包括多个坚固网关设备、多个实时监控器、一个中心主机和一个数据仓库，坚固网关设备与实时监控器连接，各个实时监控器与中心主机连接，其中，坚固网关设备完成数据采集和异常响应的功能，实时监控器挖掘检测数据的流量特征、进行检测攻击和控制坚固网关设备过滤网络数据，中心主机从数据仓库获取流量特征，产生流量模型并及时分发给各个实时监控器；数据仓库存储各个实施监控器的流量特征。本发明还公开了一种应用坚固网关系统检测攻击的方法：坚固网关设备将检测数据传递给实时监控器，实时监控器利用数据挖掘算法提取出检测数据的流量特征，依据从中心主机获得的自适应流量模型和当前的流量特征进行入侵判决，做出实时报警。

Description

一种坚固网关系统及其检测攻击方法

技术领域

本发明属于网络安全技术，尤其涉及DOS/DDOS检测攻击技术。

背景技术

随着Internet的发展，网络攻击的手段日益增多。拒绝服务(Denial ofService简称DOS)就是其中一种，采用此种方式的攻击手段直接威胁着网络的可用性。最常见的DOS攻击就是攻击者在短时间内，通过发送成千上万的垃圾数据或者非法请求，淹没目标服务器或者目标网络，使合法用户的服务请求被拒绝。DOS攻击实质上是一种对网络或系统的入侵行为，但是这种入侵行为与正常服务的操作常常无法区分，举例来说：对WWW服务器大量的页面请求可能就是一次拒绝服务攻击。当前，在DOS的基础上进一步出现了一种新的、更具威胁的演化版本DDOS(Distributed Denial ofService)，此种攻击方式向网络安全提出了新的挑战。DDOS攻击利用Internet分布式连接的特点，通过分布在世界各地的计算机产生大规模的数据包洪泛，对一个或者多个计算机进行攻击。

现有技术中，存在以下安全技术和产品，然而这些产品检测DOS/DDOS攻击的能力十分有限：

1、防火墙：

防火墙作为一种计算机网络的安全保护产品，采用的是一种隔离控制技术：在内部网络与不安全的外部网络如Internet之间设置障碍，阻止外部网络对内部资源的非法访问。实现防火墙的主要技术有数据包过滤、应用网关和代理服务。数据包过滤技术是在网络层中对数据包实施有选择的通过；应用网关则是建立在网络应用层上的协议过滤；两者都是通过特定的逻辑判断来决定是否允许特定的数据包通过，而代理服务则是将防火墙内外的应用层链接由两个终止于代理服务器的链接来实现。这些技术的核心都是在防火墙中配置一定的规则，然后检查这些规则是否被满足来发现入侵，而规则的制定和更改一般是由专业人员手工完成。防火墙只能检测出那些可以预计的攻击，对于未知的攻击，特别是DOS/DDOS攻击是无法有效检测的。而且，防火墙的控制对象是单个的数据包，对于大量的数据行为是难以发现和控制的。例如，DOS/DDOS攻击中的SNY洪泛攻击，攻击中的单个数据在协议上都是完全合法的，然而大量的这种数据包就构成了一次攻击。

2、入侵检测系统(IDS)产品：

入侵行为是指那些破坏计算机系统或者网络系统的机密性、完整性、可用性或者绕过安全机制的企图。IDS产品所起的作用就是通过监视计算机系统或者网络系统中的事件，分析发现入侵的迹象。IDS产品就是一些软件或者硬件产品，能够自动的完成监视和分析的过程，从而检测出入侵行为。目前已经有许多IDS产品，尽管它们采用监视和分析技术不同，但是它们都符合如图1所示的IDS通用处理模型。

由图1可见，IDS产品都具有3个最基础的功能模块：数据源、分析引擎和响应，通常数据源模块与分析引擎同位于监视主机11。

数据源模块负责从系统的不同层次收集数据，例如单个主机或者网络等。相应的，存在基于主机的监视系统12和基于网络的监视系统13。这两个监视系统发送响应消息至响应模块14，响应模块14控制防火墙15和路由器16过滤数据。分析引擎是入侵检测系统中真正负责检测入侵行为的功能模块，它通过分析数据源提交的事件，判决是否发生了入侵，并将检测的结果通知给响应模块。分析引擎的位置可以位于单个主机，也可以位于内部网络的任何接口处。

IDS产品的分析引擎所采用的检测方法包括以下两种：

A、基于知识的检测方法：

基于知识的检测方法运用已知的攻击或者系统的已知漏洞，抽象出特征，通过判断这些特征是否在数据中出现来检测攻击。基于知识的检测方法的缺陷在于只能检测已知的攻击手段，当出现针对新漏洞的攻击手段或者针对已知漏洞的新的攻击方式时，需要人工或者借助其它机器学习系统得出相应的特征，作为检测的依据，才能使产品或者系统具备检测新攻击手段的能力。对于新型的攻击由于缺乏相应的特征描述，常常无法检测到，因而需要不断的、及时的升级，才能保证检测能力的完备性。

B、基于行为的检测方法：

基于行为的检测方法通常以目标网络或者目标主机的活动密度、文件的访问、I/O活动、登录频率、CPU时间的占用以及网络连接等作为分析的对象，通过学习逐步建立起用户行为的模式(或者是向量)，根据使用者的行为或资源使用状况的正常程度来判断是否入侵。基于行为的检测方法的关键在于如何确定正常的行为。实际应用中，这种检测方法极易受到网络环境的影响，误检率比较高。

但是，IDS产品检测DOS/DDOS攻击时存在以下缺陷：

(1)无论是基于主机的监视系统还是基于网络的监视系统，它们都很容易受到DOS/DDOS攻击。基于主机的监视系统实际上就是运行在单个主机上的一个进程，这个进程的运行需要消耗受保护主机的资源，因而也是DOS/DDOS攻击的目标。基于网络的监视系统中监视主机与网络内其它的主机的地位是一样的，如果受到DOS/DDOS攻击，将无法继续收集网络上的数据，也就使得入侵检测系统陷入瘫痪状态。

(2)响应模块负责在攻击发生时，采取一系列的措施来阻止攻击保护系统资源。最常用的主动响应方式是阻断攻击，IDS是没有能力阻断攻击者的进入，只能是阻断某些被怀疑为是攻击者的IP地址，通过发送TCP RET命令或者重新配置路由器和防火墙来解决。然而该措施十分危险，首先响应命令的传送可能会被黑客截获，其次发送大量的TCP RET命令可能就是被用来发起了DDOS攻击，大量虚警造成对路由器和防护墙的频繁配置会大大影响网络的性能。

可见，IDS产品本身就极易受到DOS/DDOS攻击，而且在攻击发生后必须依靠其它的安全产品来抵制攻击，自身缺乏有效的抵制措施。

3、应用数据挖掘技术检测DOS/DDOS的保护方案：

数据挖掘技术就是从大量数据中提取出内在的、固有的、先前未知的并且最终可理解的信息的过程。可以使用所抽取的信息来形成一个预测或分类模型，或者找出数据库记录间的相似性。发掘出的结果信息可帮助做出更有力的决策。因而数据挖掘技术作为一种数据分析手段被引入到了现有的入侵检测系统中。下面以DuDe为例来介绍运用数据挖掘技术检测DOS/DDOS攻击的方法以及这种方案中普遍存在的安全缺陷。

DuDe的英文全称是Defense Under Denial-of-Service，即在DOS攻击下的防御，它是Columbia University的一个在DOS攻击发生时对网络的保护方案，其中使用数据挖掘技术作为检测DOS的方法。参见图2所示，系统由分布在内部网络的数据收集引擎(DCA，Data Collection Agent)和数据融合器(DFA，Data Fusion Agent)组成，DFA利用挖掘算法产生流量模型，DCA依据这一流量模型实时检测进入的流量，发现异常并作相应的处理。DFA使用机器学习算法和数据挖掘算法产生模型，因而用来训练的这些数据集必须能够充分模拟真实的网络活动。

该方法需要大量经过标记的数据正常数据与攻击数据来训练模型。由于产生上述训练数据的成本很高，且需要大量的人工工作，而且，在一个环境中经过训练的模型被用于另一环境时通常不能很好的工作，必须重新构造训练数据。因此这种方法的可移植性比较差。在结构上，DCA实际上是运行在Web-Server上的一个软件，所有需要进入Web-Server的流量都必须经过DCA，对于DOS/DDOS攻击本身就缺乏抵制的能力。

4、其它抵制DOS/DDOS攻击的产品：

目前，国际上有许多网络公司致力于研究和开发专用的DOS/DDOS攻击检测产品作为现有安全措施的补充，主要有TopLayer公司的AttackMitigator，Arbor公司的Peakflow DOS，Capus公司的CaptIO Security Device，Asta Network公司的Vantage System以及Mazu公司的Mazu Enforcer等。这些产品的一个共同特点就是只是一个单独的设备，这样显然不能检测受保护网络的整体状况，这一缺陷虽然可以通过在网络中增加多个设备得到一定程度的弥补，但是这些设备之间无法共享信息，达到共同防御的目的。例如，当一台设备检测到攻击发生时，无法将检测的结果通知其它的设备。

就使用的检测方法而言，它们都利用了现有的入侵检测技术。除了TopLayer公司的AttackMitigator通过预先配置已知攻击的机制来检测某些DOS攻击外，其余公司都采用了基于行为的异常检测机制，如上所述，这两种方法都存在着很大的安全缺陷。

发明内容

有鉴于此，本发明的主要目的在于提供一种坚固网关系统，包括多个坚固网关设备、多个实时监控器、一个中心主机和一个数据仓库，坚固网关设备、实时监控器、中心主机连接构成三层逻辑结构，每个坚固网关设备与对应的实时监控器连接，每个实时监控器与中心主机连接，中心主机与数据仓库连接，其中：

每个坚固网关设备均置于外部网络与内部网络之间，相对于内部网络和外部网络透明设置，具有数据采集和数据过滤功能；

每个实时监控器均具有从坚固网关设备采集检测数据、根据产生流量特征的策略配置从该检测数据中提取流量特征、依据中心主机传送来的流量模型判断当前流量特征是否异常、向坚固网关设备发布响应策略以控制坚固网关设备对来自外部的网络数据进行过滤的功能；

中心主机具有根据从数据仓库传送来的流量特征，生成流量模型和不断自适应生成新流量模型的功能，同时，该中心主机还将存储在其上的产生流量特征的策略配置发布到实时监控器上；

数据仓库通过中心主机获得实时监控器上的检测数据的流量特征，保存在该数据仓库中，在中心主机生成流量模型时，中心主机从该数据仓库获得流量特征。

其中，所述坚固网关设备包括：

在该坚固网关设备中配置的抓包库，完成从INTERNET获取原始数据包的功能；

在该坚固网关设备中配置的防火墙，根据从实时监控器获得的响应策略，将从INTERNET获取的原始数据过滤，传送到内部网络。

其中，所述坚固网关相对于内部网络和外部网络透明设置包括：

所述坚固网关设备分别与内部网络和外部网络具有接口，该两个接口所在网段相同。

其中，所述实时监控器包括：

流量特征提取模块：该模块根据从中心主机获得的产生流量特征的策略，利用关联算法对坚固网关设备传来的检测数据进行特征提取，获得流量特征；

检测攻击模块：该模块从流量特征提取模块获得流量特征，并从中心主机获得流量模型，利用获得的流量模型和流量特征完成检测攻击功能，依据检测结果完成发布响应策略至坚固网关的功能。

其中，所述实时监控器进一步包括：

报警可视化模块，该模块将检测攻击模块的检测结果可视化。

其中，所述中心主机包括：

数据库代理模块，完成从数据仓库读取流量特征、传送到中心主机的模型产生模块的功能，和完成接收各个实时监控器上的流量特征，存储在数据仓库的功能；

模型产生模块，根据由数据库代理模块获得的流量特征，依据产生流量特征的配置，按照聚类算法生成流量模型，并将该模型发送到各个实时监控器中。

其中，所述中心主机进一步包括：

模型可视化模块，接收来自模型产生模块的模型，在中心主机上显示该模型。

其中，所述每个实时监控器与中心主机连接包括：

每个实时监控器连接到网络集线器，通过网络集线器连接到中心主机。

其中，所述每个实时监控器与中心主机连接包括：

每个实时监控器连接到内部网络交换机，通过内部网络交换机连接到中心主机。

本发明还提供一种利用坚固网关系统对网络数据进行检测攻击的方法，其中，坚固网关系统中各个坚固网关设备与受保护网络连接，每个坚固网关设备分别与各自的实时监控器连接，各个实时监控器与中心主机连接，中心主机与数据仓库连接，其特征在于采用基于数据挖掘的自适应检测方法，该方法包括以下步骤：

A、坚固网关系统中的各个坚固网关设备从来自外部网络的数据中获得检测数据，分别将检测数据传送到各自的实时监控器，实时监控器根据产生流量特征的策略配置，利用关联算法分别从检测数据中获得流量特征；各个实时监控器分别将检测数据的流量特征发送到中心主机，中心主机将这些流量特征存储到数据仓库中；中心主机从数据仓库获得流量特征，根据生成流量模型的策略配置，利用聚类算法处理流量特征，生成由正常聚类组成的流量模型，将该流量模型发送到各个实时监控器；

B、各个实时监控器根据该流量模型对检测数据的流量特征进行检测，根据检测结果控制坚固网关设备对原始网络数据进行过滤。

其中，在步骤A中，所述从来自外部网络的数据中获得检测数据包括：

坚固网关设备从对应的实时监控器上获得数据收集策略配置，按照该配置从外部网络获得的原始网络数据中收集得到所述检测数据。

其中，所述步骤A与所述步骤B并行执行，只要有流量特征和流量模型产生，就可执行步骤B。

其中，所述利用关联算法获得所述流量特征包括：

根据产生流量特征的策略配置中的参数确定检测数据的时间窗的大小，以时间窗为单位利用关联算法获得流量特征。

其中，所述以时间窗为单位利用关联算法获得流量特征包括：

A1、将收集到的单位时间窗内的网络数据恢复为连接记录；

A2、利用关联算法挖掘出该单位时间窗内的连接记录中的频繁项目集并计算出相应的数目，得到所述流量特征。

其中，所述根据生成流量模型的策略配置，利用聚类算法生成流量模型包括：

计算获得的流量特征之间的距离，根据生成流量模型的策略配置中设定的类似性参数，利用聚类算法将具有类似性的流量特征归结为聚类，将符合生成流量模型的策略配置中流量特征数目的聚类作为正常聚类，以正常聚类构成流量模型。

其中，在步骤B中，所述根据流量模型对检测数据的流量特征进行检测包括：

B1、计算当前流量特征是否在流量模型中各个聚类的范围之内，如果是，则检测结果为该流量特征并非异常流量特征，否则，检测结果为该流量特征是异常流量特征；

B2、根据检测结果向坚固网关设备发布响应策略，坚固网关设备根据响应策略对原始网络数据进行过滤，包括：

当检测结果中异常流量特征的数目在响应策略所设定的监听范围内时，通过响应策略控制坚固网关设备进入监听模式，坚固网关设备将所有原始网络数据直接转发不做任何处理；

当检测结果中异常流量特征的数目在响应策略所设定的可疑范围内时，通过响应策略控制坚固网关设备进入可疑模式，坚固网关设备对具有异常流量特征的检测数据进行带宽限制；

当检测结果中异常流量特征的数目超过响应策略所设定的可疑范围时，通过响应策略控制坚固网关设备进入积极防御模式，坚固网关设备截断具有异常流量特征的检测数据。

可见，在本发明中，坚固网关设备根据数据收集策略，对网络中的原始数据过滤，将过滤后得到的检测数据交给实时监控器；实时监控器将接收到的检测数据恢复成连接记录，利用数据挖掘方法中的关联挖掘，提取出流量特征；实时监控器依据流量模型和当前的流量特征进行入侵判决，做出实时的报警，并产生相应的响应策略，控制坚固网关设备过滤原始网络数据。本发明实现了检测DOS/DDOS的功能，其系统具有透明的网关设置，不易受到DOS/DDOS攻击，其系统的三层逻辑组成方式使得检测任务得以分别进行，减小了内部网络压力，中心主机汇总各个实时监控器的流量特征产生流量模型，使得检测攻击更加全面、准确；其方法利用了数据挖掘算法中的关联算法和聚类算法，减少了数据处理的工作量，并使得检测攻击的准确度提高。

附图说明

图1为IDS产品的通用处理模型示意图。

图2为Dude体系结构示意图。

图3为坚固网关系统拓扑结构图。

图4为坚固网关设备的配置示意图。

图5为实时监控器的配置示意图。

图6为中心主机的配置示意图。

图7为坚固网关系统功能模块划分示意图。

图8为流量模型生成示意图。

具体实施方式

本发明采用由多个坚固网关设备、多个实时监控器、中心主机和数据仓库组成的坚固网关系统检测DOS/DDOS攻击，其检测方法利用了数据挖掘算法中的关联算法和聚类算法，依据流量模型对检测数据的流量特征进行检测，根据检测结果产生响应策略，控制坚固网关设备过滤原始网络数据。

参见图3所示，图3为本发明的坚固网关系统拓扑结构图，该系统由中心主机、实时监控器和坚固网关构成三层逻辑结构，系统包括：

(1)多个坚固网关31：每个坚固网关均处于路由器和防火墙33之间，且每个坚固网关通过防火墙与内部网络的接口所在网段与通过路由器与外部网络的接口所在网段相同，以此设置保证坚固网关相对于内部网络和外部网络为透明设置，进而可以隐藏整个坚固网关系统，使其不易受到DOS/DDOS攻击，本实施例中，网段相同的设置采用ARP代理技术实现。这些坚固网关一端通过路由器连接外部INTERNET，一端通过防火墙连接内部网络，一端通过独立的网络接口连接实时监控器32。每个坚固网关均完成数据采集和异常响应的功能，参见图4所示，该图中粗箭头代表数据流，细箭头代表控制流，坚固网关中包括：

libpcap库42，本实施例所采用libpcap库作为抓包库，从实时监控器获得数据收集策略配置该库(2)，利用该库从INTERNET获取原始数据包(3)，传递到实施监控器(4)；

Netfilter41，本实施例所采用的Linux防火墙，Netfilter，从实时监控器获得响应策略配置该防火墙(1)，该防火墙对从INTERNET获取的原始数据包进行过滤(5)，传递到网络。

(2)与坚固网关一一对应的实时监控器32：每个实时监控器与其对应的坚固网关连接，所有实时监控器与独立于内部网络的网络集线器(Hub)36相连接，Hub上连接中心主机。其中，所有实时监控器还可与独立于内部网络的交换机相连接，交换机上连接中心主机。每个实时监控器均完成流量特征提取、依据流量模型判断当前流量特征是否异常、以及控制坚固网关进行过滤的功能。参见图5所示，该图中粗箭头代表数据流，细箭头代表控制流，实时监控器包括：

流量特征提取模块51：该模块从中心主机获得产生流量特征的策略(3)，对坚固网关获得的检测数据进行特征提取(1)，获得该检测数据的流量特征，对该流量特征进行以下操作：将该流量特征传递到中心主机(4)，中心主机的数据库代理模块将该流量特征传送并储存在数据仓库中；将该流量特征传递到检测攻击模块(5)，用该流量特征作为该检测数据的被检测对象；

检测攻击模块52：该模块从中心主机获得流量模型(2)，以流量模型为标准对从流量特征提取模块获得流量特征进行检测，依据检测结果发布响应策略至坚固网关(6)，并将检测结果在报警可视化模块53上显示(8)；

报警可视化模块53：该模块收到检测攻击模块传送过来的检测攻击结果，将该检测攻击结果在实时监控器上可视化；

在实时监控器上还保存有数据收集策略配置，该配置中包括数据收集时所需的相关参数，实时监控器将该配置发送到坚固网关(7)，控制坚固网关采集原始网络数据的类型。

(3)中心主机34：该中心主机通过Hub与实时监控器相连接，控制实时监控器的工作，并向各个实时监控器发布产生流量特征的配置和流量模型。中心主机主要功能在于：从数据仓库获得各个实时监控器的流量特征，利用数据挖掘算法，根据获得的流量特征产生流量模型并及时分发给各个实时监控器。参见图6所示，该图中粗箭头代表数据流，细箭头代表控制流，中心主机包括：

数据库代理模块61：该模块完成数据库代理功能，从实时监控器获得流量特征(1)，该模块把该流量特征储存到与中心主机相连接的数据仓库中(3)，该模块从数据仓库中读取流量模型产生所需要的流量特征，传递到模型产生模块(2)；

模型产生模块62：该模块从数据库代理模块获得流量特征，依据传递过来的模型生成策略产生模型，将该模型传送到实时监控器作为检测攻击的标准(4)，并将该模型传送到模型可视化模块(5)；

模型可视化模块63：该模块接收来自模型产生模块的模型，在中心主机上对该模型可视化；

在中心主机中还保存有产生流量特征的策略配置64，该配置中有流量特征产生时所需的参数，中心主机将该配置传递到实时监控器(6)，控制各个实时监控器按照相同的规则生成流量特征；中心主机中还存有模型生成策略配置，该配置中有流量模型生成时所需的参数，该配置被传送到模型产生模块，配置模型产生。

(4)数据仓库35：该数据仓库通过网络集线器(或交换机)与中心主机连接，通过中心主机上的数据库代理模块，从中心主机获得各个实时监控器上的检测数据的流量特征，保存在该数据仓库中；在中心主机生成流量模型时，中心主机的数据库代理模块从该数据仓库中获得各个实时监控器递交的流量特征，以生成流量模型。本发明实施例中，采用Oracle数据库。

参见图7所示，以上所述坚固网管系统中，坚固网关、实时监控器和中心主机的功能关系为：

坚固网关获得原始网络数据(1)，依据由实时监控器获得数据收集策略从原始网络数据中收集出检测数据(3)，该检测数据被传送到实时监控器(2)，实时监控器根据从中心主机获得产生流量特征的策略(6)，从该检测数据中提取流量特征，将该流量特征传递到中心主机(4)，中心主机上的数据库代理模块将各个实时监控器的流量特征传送并存储在数据仓库中；中心主机从数据仓库中获得各个实时监控器递交的流量特征(7)，依据产生流量特征的策略对这些流量特征进行处理，生成流量模型，将该流量模型传送到实时监控器作为检测攻击的标准(5)；在实时监控器中，根据流量模型和检测数据的流量特征检测攻击，根据检测结果发布响应策略至坚固网关(8)，坚固网关以此策略过滤原始网络数据，将过滤后的网络数据传送出去(9)。

下面详细描述坚固网关系统利用数据挖掘算法进行攻击检测的方法。

其中，数据挖掘算法包括两类：关联算法和聚类算法，关联算法指的是：从大量的数据中挖掘出描述数据项之间互相联系的有价值的关联知识；聚类算法指的是：将一组个体按照相似性归为若干类别，归类原则需保证属于同一类别的个体之间的距离尽可能的小，而不同类别的个体间的距离尽可能的大。

该攻击检测方法具体包括：

1、坚固网关系统中的中心主机从数据仓库中获得流量特征，利用数据挖掘算法处理获得的流量特征生成流量模型，作为当前流量模型存储在中心主机中，以供攻击检测时使用；

参见图8所示，本发明中采用数据挖掘算法生成流量模型具体包括：

采用Single-Linkage算法，把流量特征视为向量，其中的服务类型等属性作为向量的分量，计算这些向量之间的距离，将距离近的向量聚合在一起，由此得到具有相似流量特征的聚类；其中，每一个聚类由该类的中心向量和半径表示，中心向量的格式与流量特征的格式相同；其中，距离近的设定以生成流量模型的策略配置中的参数为准，所述流量特征的格式参见表2所示；

依据“正常数据比攻击数据多”的假设，将包含大部分向量的聚类视为正常聚类，而将包含少数向量的聚类视为异常聚类；各个正常聚类构成流量模型，其中，正常聚类中的向量数目的设定以生成流量模型的策略配置中的参数为准。

其中，图8中的k1、k2和q为互不相关的参数。

以上步骤说明了坚固网关系统流量模型产生的过程。坚固网关系统在检测攻击过程中，根据模型产生策略定期执行步骤1，产生新的流量模型。

2、坚固网关系统根据步骤1中产生的流量模型对网络数据进行攻击检测，每个坚固网关及其实时监控器均执行以下步骤：

2.1、坚固网关获得原始网络数据，依据数据收集策略从原始网络数据中收集出检测数据；

2.2、坚固网关将检测数据发送到其实时监控器，实时监控器根据产生流量特征的策略中的配置，利用关联算法从检测数据中获得流量特征，包括：

实时监控器将收集到的一时间窗内的网络数据恢复为表1形式的连接记录，根据产生流量特征的策略配置，利用关联算法挖掘出这些连接记录中的具有相似性的频繁项目集并计算出相应的数目，这些项目集分别作为这一时间窗内的网络数据的流量特征，流量特征的格式参见表2所示，其中，总数目为该时间窗内连接记录的总数，数目为该流量特征包含的连接记录的个数；对各个时间窗内的网络数据重复以上操作，得到各个时间窗内的流量特征；进一步的，将这些流量特征通过中心主机的数据库代理模块存储在数据仓库中；

时间

源IP地址

目的IP地址

服务类型

协议类型

TCP连接状态标志

                     表1

服务类型

协议类型

TCP连接状态标

数目

总数目

                     表2

2.3、实时监控器从中心主机获得当前流量模型，用该流量模型对检测数据的流量特征进行对比，检测攻击，包括：

将流量特征视为向量，计算当前的流量特征对应的向量与当前流量模型中的各个聚类的距离，不在各个聚类描述范围内的向量，为异常流量特征；当检测数据中的异常流量特征的数目在响应策略所设定的监听范围内时，坚固网关设备对原始网络数据不做过滤处理；当检测数据中的异常流量特征的数目在响应策略所设定的可疑范围内时，产生可疑报警，实时监控器通过配置响应策略，使坚固网关进入“可疑模式”工作，对具有异常流量特征的流量进行带宽限制；当检测数据中的异常流量特征的数目超过响应策略所设定的可疑范围时，实时监控器配置响应策略使坚固网关进入“积极防御模式”，坚固网关截断那些具有异常流量特征的流量；

在对网络数据进行检测攻击的过程中，不断有新流量模型以步骤1所述的方式生成，供步骤2检测攻击时使用。

以上步骤中，步骤2和步骤1的执行顺序包括：步骤2在前步骤1在后，步骤1在前步骤1在后以及步骤1和步骤2同时执行，也就是，步骤2和步骤1的执行顺序对本发明的实施没有影响。

其中，当坚固网关系统安装到新的受保护网络中时，首先进行坚固网关系统初始化，该初始化过程包括：按照步骤2.1～2.2中所述的方法获得流量特征，利用步骤1中所述的方法处理这些流量特征生成流量模型，以此流量模型存储在中心主机中，用做初始化后的检测攻击和自适应生成流量模型。

可见，本发明提供一种坚固网关系统，该系统由坚固网关设备、实时监控器、中心主机和数据仓库组成，坚固网关完成对原始网络数据的采集和根据响应策略过滤原始网络数据的功能；实时监控器与其对应的坚固网关相连接，完成检测数据的流量特征提取和根据流量模型检测当前流量特征的功能；中心主机与各个实时监控器相连，获得各个实时监控器传来的流量特征，利用聚类算法不断生成新的流量模型，发布给各个实时监控器。数据仓库存通过中心主机上的数据库代理存储自各个实施监控器的流量特征，并在中心主机生成流量模型时提供流量特征。本发明还提供了一种坚固网关系统的检测攻击方法，该方法利用关联算法提取出检测数据的流量特征，用该流量特征与流量模型进行对比，超出流量模型中的聚类范围的流量特征为异常流量特征，根据异常流量特征的数目以及系统设置，产生相应的响应策略，按照该策略过滤原始网络数据。该系统及其方法很好的实现了检测DOS/DDOS的功能，具有以下优点：

1>、坚固网关本身具有很高的隐蔽性，不会被外部的黑客发现，自身不会遭到DOS/DDOS的攻击。

2>、每一个坚固网关通过一个以太网接口与一台实时监控器相连，由实时监控器完成检测任务，这样可以大大减轻坚固网络的处理任务，提高系统的吞吐量。

3>、实时监控器通过Hub与中心主机单独构成一个独立于内部网络的网络，这样不但减少了通信对内部网络的压力，不再占用其带宽，而且很好的隐蔽了系统，自身防御能力增强。

4>、坚固网关、实时监控器和中心主机构成了系统的一个基本的3层逻辑结构，系统以这种逻辑分工明确的结构为基础，可以任意扩展。

5>、坚固网关巧妙联合运用了数据挖掘中的关联挖掘算法和聚类挖掘算法，不需要任何训练数据。由于利用关联算法将数据集抽象为流量特征，大大减少了聚类算法处理的数据量，不仅克服了聚类算法运行速度慢的缺点，又为聚类处理增加了有用的信息。

6>、坚固网关系统可以自适应的产生用于检测的流量模型。

Claims (16)

1、一种坚固网关系统，其特征在于该系统包括多个坚固网关设备、多个实时监控器、一个中心主机和一个数据仓库，坚固网关设备、实时监控器、中心主机连接构成三层逻辑结构，每个坚固网关设备与对应的实时监控器连接，每个实时监控器与中心主机连接，中心主机与数据仓库连接，其中：

每个坚固网关设备均置于外部网络与内部网络之间，相对于内部网络和外部网络透明设置，具有数据采集和数据过滤功能；

每个实时监控器均具有从坚固网关设备采集检测数据、根据产生流量特征的策略配置从该检测数据中提取流量特征、依据中心主机传送来的流量模型判断当前流量特征是否异常、向坚固网关设备发布响应策略以控制坚固网关设备对来自外部的网络数据进行过滤的功能；

中心主机具有根据从数据仓库传送来的流量特征，生成流量模型和不断自适应生成新流量模型的功能，同时，该中心主机还将存储在其上的产生流量特征的策略配置发布到实时监控器上；

数据仓库通过中心主机获得实时监控器上的检测数据的流量特征，保存在该数据仓库中，在中心主机生成流量模型时，中心主机从该数据仓库获得流量特征。

2、根据权利要求1所述的系统，其特征在于所述坚固网关设备包括：

在该坚固网关设备中配置的抓包库，完成从INTERNET获取原始数据包的功能；

在该坚固网关设备中配置的防火墙，根据从实时监控器获得的响应策略，将从INTERNET获取的原始数据过滤，传送到内部网络。

3、根据权利要求1所述的系统，其特征在于所述坚固网关相对于内部网络和外部网络透明设置包括：

所述坚固网关设备分别与内部网络和外部网络具有接口，该两个接口所在网段相同。

4、根据权利要求1所述的系统，其特征在于所述实时监控器包括：

流量特征提取模块：该模块根据从中心主机获得的产生流量特征的策略，利用关联算法对坚固网关设备传来的检测数据进行特征提取，获得流量特征；

检测攻击模块：该模块从流量特征提取模块获得流量特征，并从中心主机获得流量模型，利用获得的流量模型和流量特征完成检测攻击功能，依据检测结果完成发布响应策略至坚固网关的功能。

5、根据权利要求4所述的系统，其特征在于所述实时监控器进一步包括：

报警可视化模块，该模块将检测攻击模块的检测结果可视化。

6、根据权利要求1所述的系统，其特征在于所述中心主机包括：

数据库代理模块，完成从数据仓库读取流量特征、传送到中心主机的模型产生模块的功能，和完成接收各个实时监控器上的流量特征，存储在数据仓库的功能；

模型产生模块，根据由数据库代理模块获得的流量特征，依据产生流量特征的配置，按照聚类算法生成流量模型，并将该模型发送到各个实时监控器中。

7、根据权利要求6所述的系统，其特征在于所述中心主机进一步包括：

模型可视化模块，接收来自模型产生模块的模型，在中心主机上显示该模型。

8、根据权利要求1所述的系统，其特征在于所述每个实时监控器与中心主机连接包括：

每个实时监控器连接到网络集线器，通过网络集线器连接到中心主机。

9、根据权利要求1所述的系统，其特征在于所述每个实时监控器与中心主机连接包括：

每个实时监控器连接到内部网络交换机，通过内部网络交换机连接到中心主机。

10、一种利用坚固网关系统对网络数据进行检测攻击的方法，其中，坚固网关系统中各个坚固网关设备与受保护网络连接，每个坚固网关设备分别与各自的实时监控器连接，各个实时监控器与中心主机连接，中心主机与数据仓库连接，其特征在于采用基于数据挖掘的自适应检测方法，该方法包括以下步骤：

A、坚固网关系统中的各个坚固网关设备从来自外部网络的数据中获得检测数据，分别将检测数据传送到各自的实时监控器，实时监控器根据产生流量特征的策略配置，利用关联算法分别从检测数据中获得流量特征；各个实时监控器分别将检测数据的流量特征发送到中心主机，中心主机将这些流量特征存储到数据仓库中；中心主机从数据仓库获得流量特征，根据生成流量模型的策略配置，利用聚类算法处理流量特征，生成由正常聚类组成的流量模型，将该流量模型发送到各个实时监控器；

B、各个实时监控器根据该流量模型对检测数据的流量特征进行检测，根据检测结果控制坚固网关设备对原始网络数据进行过滤。

11、根据权利要求10所述的方法，其特征在于在步骤A中，所述从来自外部网络的数据中获得检测数据包括：

坚固网关设备从对应的实时监控器上获得数据收集策略配置，按照该配置从外部网络获得的原始网络数据中收集得到所述检测数据。

12、根据权利要求10所述的方法，其特征在于所述步骤A与所述步骤B并行执行，只要有流量特征和流量模型产生，就可执行步骤B。

13、根据权利要求10所述的方法，其特征在于所述利用关联算法获得所述流量特征包括：

根据产生流量特征的策略配置中的参数确定检测数据的时间窗的大小，以时间窗为单位利用关联算法获得流量特征。

14、根据权利要求13所述的方法，其特征在于所述以时间窗为单位利用关联算法获得流量特征包括：

A1、将收集到的单位时间窗内的网络数据恢复为连接记录；

A2、利用关联算法挖掘出该单位时间窗内的连接记录中的频繁项目集并计算出相应的数目，得到所述流量特征。

15、根据权利要求10所述的方法，其特征在于所述根据生成流量模型的策略配置，利用聚类算法生成流量模型包括：

计算获得的流量特征之间的距离，根据生成流量模型的策略配置中设定的类似性参数，利用聚类算法将具有类似性的流量特征归结为聚类，将符合生成流量模型的策略配置中流量特征数目的聚类作为正常聚类，以正常聚类构成流量模型。

16、根据权利要求10所述的方法，其特征在于在步骤B中，所述根据流量模型对检测数据的流量特征进行检测包括：

B1、计算当前流量特征是否在流量模型中各个聚类的范围之内，如果是，则检测结果为该流量特征并非异常流量特征，否则，检测结果为该流量特征是异常流量特征；

B2、根据检测结果向坚固网关设备发布响应策略，坚固网关设备根据响应策略对原始网络数据进行过滤，包括：

当检测结果中异常流量特征的数目在响应策略所设定的监听范围内时，通过响应策略控制坚固网关设备进入监听模式，坚固网关设备将所有原始网络数据直接转发不做任何处理；

当检测结果中异常流量特征的数目在响应策略所设定的可疑范围内时，通过响应策略控制坚固网关设备进入可疑模式，坚固网关设备对具有异常流量特征的检测数据进行带宽限制；

当检测结果中异常流量特征的数目超过响应策略所设定的可疑范围时，通过响应策略控制坚固网关设备进入积极防御模式，坚固网关设备截断具有异常流量特征的检测数据。

Images