CN100502356C - 一种基于多级聚集的异常流量控制方法与系统 - Google Patents

Abstract

本发明旨在提供一种基于多级聚集的异常流量控制系统，包括以下子系统：异常流量识别子系统，用于针对不同场合进行数据抽样并进行地址聚集；异常流量分类规则自动生成子系统，用于聚集模式的设计、二次模式聚集、包分类和数据管理；异常流量匹配和拒绝方法实施子系统，用于根据二次模式聚集的结果对各个聚集的速率限制设置不同的优先级别，并且使用公平合理且快速有效的方法对异常聚集流进行限制。本发明还提供一种基于多级聚集的异常流量控制方法。本发明对数据进行一次地址聚集和二次模式聚集分析，有效地减少了网络在传送攻击流量上的带宽浪费，提高了路由器的使用效率和网络带宽的利用率。

Description

一种基于多级聚集的异常流量控制方法与系统

技术领域

本发明涉及计算机网络和电信网中的路由技术，特别涉及路由器上检测和防范异常流量的技术。

背景技术

随着网络规模的扩展，由于网络的开放式结构，以及构成Internet(因特网)的TCP/IP协议本身对安全性考虑不够，网络安全问题已经成为网络运营商必须面对和解决的一个重大问题。目前网络上各种开放的黑客工具泛滥，只需要很少的网络知识，就能轻松的完成对网络的破坏。因此，监测和控制网络带宽的使用是一个十分重要的课题。

传统的网络安全技术侧重于用户网络的系统级入侵检测、防病毒和防火墙等方面，这类安全措施通常并不能减少运营商网络中的非正常流量，特别是面对不断发展的DOS/DDOS攻击，用户网络只能处在一种被动防御的地位。运营商网络中如果允许大量的非正常流量存在，一方面为恶意攻击行为提供了条件，影响网络用户的正常使用；另一方面，这种大量的非正常流量如果是直接针对网络与路由交换设备的，那么可能引起网络设备的性能下降甚至服务中断。所以从安全角度考虑，减少网络中的异常流量，遏制面向用户网络或者中间设备的拒绝服务攻击，网络与路由交换设备具备异常流量监控与抗拒绝服务攻击能力有着重要意义。

网络中的路由器需要能够对攻击性的异常流量进行监控并做出反应，根据报文的统计特征，采用一定的干预规则，对这些非法流量进行抑制或者拒绝。此外路由器要求进行高速转发，因此需要一种效率很高的捕获、分析和干预的算法，在不过多消耗系统资源的同时能够进行快速分析和决策，并配合过滤规则生成过滤条目进行异常流量干预。现有技术无法满足以上要求。

发明内容

本发明的目的是提供一种基于多级聚集的异常流量控制(Aggregates-Oriented Multi-Levels Anomaly Traffic ControlMechanism in Router，简称A.M.A.T)方法与系统，能在路由器上检测和防范异常流量，并且在资源使用、检测效率和准确率方面都满足实际应用的要求。

本发明采用以下技术方案：

一种基于多级聚集的异常流量控制系统，包括以下子系统：

异常流量识别子系统，用于针对不同场合进行数据抽样并进行地址聚集；

异常流量分类规则自动生成子系统，用于聚集模式的设计、二次模式聚集、包分类和数据管理；

异常流量匹配和拒绝方法实施子系统，用于根据二次模式聚集的结果对各个聚集的速率限制设置不同的优先级别，并且使用公平合理且快速有效的方法对异常聚集流进行限制。

进一步地，异常流量识别子系统通过识别算法，并采用历史信息表来增加对攻击判断的准确率，同时还在地址聚集算法中结合采用防抖动的算法，用累计值来判断异常，增加对脉冲攻击的识别能力。

进一步地，异常流量分类规则自动生成子系统根据具体的协议统计特征，提出不同的聚集模式。

一种基于多级聚集的异常流量控制系统，包括以下模块：

模块a，数据包采样模块：用于对数据包进行采样；

模块b，流量强度聚集模块：用于发现一定时间周期内的高强度的目的IP聚集；

模块c，异常模式聚集模块：通过二次模式聚集对异常流量进行聚集分类，以便于防御规则生成模块对流往该地址的聚集进行分析，生成规则，并通知规则执行及反馈模块做出合适的响应；

模块d，防御规则生成模块：根据异常模式聚集模块所得到的攻击IP地址和攻击协议，统计流往该IP地址的数据包的特征，生成攻击防御规则，并将其传给规则执行及反馈模块，使规则执行及反馈模块能够做出合适的响应；

模块e，目的地址识别模块：用于的判断IP包的目的IP是否和攻击防御规则中的检查规则匹配；

模块f，规则执行及反馈模块：用于对接收到的IP包根据其目的IP地址和使用的协议进行判断之后，执行防御规则并反馈规则的执行结果。

进一步地，本系统还包括：模块g，系统信息输出模块：用于把相关模块的输出信息写入日志文件。

进一步地，本系统还包括：模块h，性能监视模块，用于触发数据包采样模块。

进一步地，数据包采样模块采用内容激发的分布式采样算法，在该算法失效时自动切换到固定间隔采样。

进一步地，流量强度聚集模块采用哈希表直接对采样数据进行聚集。

进一步地，流量强度聚集模块使用4*256二维数组对目的IP地址进行哈希计算；即把目的IP分为四个部分，每个部分一个字节对应一个位置，四个字节对应二维数组中的四个位置，系统设置溢出门限和定时清理机制，当四个门限均被突破时，即判定该目的IP出现高强度流量。

一种基于多级聚集的异常流量控制方法，包括以下步骤：

步骤一，对数据包进行采样；

步骤二，对一定时间周期内的高强度的目的IP进行聚集；

步骤三，通过二次模式聚集对异常流量进行聚集分类，得到攻击IP地址和攻击协议；

步骤四，根据步骤三所得到的攻击IP地址和攻击协议，统计流往该IP地址的数据包的特征，生成攻击防御规则；

步骤五，判断IP包的目的IP是否和攻击防御规则中的检查规则匹配；

步骤六，对接收到的IP包根据其目的IP地址和使用的协议进行判断之后，执行防御规则并反馈规则的执行结果。

进一步地，本发明还包括步骤七：把相关模块的输出信息写入日志文件。

进一步地，数据包采样采用内容激发的分布式采样算法，在该算法失效时自动切换到固定间隔采样。

进一步地，步骤二采用哈希表直接对采样数据进行聚集。

进一步地，步骤二对采样数据进行聚集使用4*256二维数组对目的IP地址进行哈希计算；即把目的IP分为四个部分，每个部分一个字节对应一个位置，四个字节对应二维数组中的四个位置，系统设置溢出门限和定时清理机制，当四个门限均被突破时，即判定该目的IP出现高强度流量。

进一步地，步骤五中，检查规则和具体的协议相关，对一个IP共有三个协议检查规则：TCP、UDP和ICMP；在检查IP符合后，还要检查该IP的协议是否和检查规则中生效的对应协议规则相配，若全部一致，则收集该IP信息到处理队列。

和现有技术相比，本发明采用前台采集数据包，并直接在前台对数据进行一次地址聚集和二次模式聚集分析。这种多层的基于目的IP地址的聚集流的分析策略，更加明确了发生流量攻击的聚集，在路由器上直接对攻击流量实行一定的过滤策略，有效地减少了网络在传送攻击流量上的带宽浪费，提高了路由器的使用效率和网络带宽的利用率。

附图说明

图1是本发明方法的总体流程图；

图2是本发明系统的模块数据流图；

图3是本发明系统进程图；

图4是本发明系统的内核空间数据流图；

图5是本发明系统的用户空间数据流图；

图6是应用本发明的边缘网络图；

图7是应用本发明的骨干网络图。

具体实施方式

本发明提供了一种全新的基于多级聚集的异常流量控制(A.M.A.T，Aggregates-Oriented Multi-Levels Anomaly Traffic ControlMechanism in Router)方法与系统，具有很高的检测效率和检测准确率。以下结合附图，对本发明的具体实施方式进行详细说明。

本发明的基于多级聚集的异常流量控制系统，包括以下子系统：

异常流量识别子系统：主要针对不同场合进行数据抽样，通过一次地址聚集及其改进算法、cusum算法进行地址聚集。该子系统通过先进的识别算法，并采用历史信息表来增加对攻击判断的准确率，同时还在地址聚集算法中结合采用了防抖动的算法，用累计值来判断异常，增加对脉冲攻击的识别能力。

异常流量分类规则自动生成子系统：主要包括聚集模式的设计、二次模式聚集算法、包分类和基于Adapted-MULTOPS的数据管理算法。异常流量的分类根据具体的协议统计特征，提出了不同的聚集模式，这些聚集模式是基于统计特性的，因此这种方法对攻击手段的变化有很好的抵抗能力。另外不同协议的聚集实际上是产生了各个协议之间的隔离，也就是说，一种协议的攻击不会影响其它协议的流量。针对TCP、UDP和ICMP包都提供了多种不同的分类模式。

异常流量匹配和拒绝方法实施子系统：根据二次模式聚集的结果对各个聚集的速率限制设置不同的优先级别，并且使用公平合理且快速有效的方法对异常聚集流进行限制。异常流量的匹配和拒绝根据分类模块的结果，采取不同的攻击反应策略，其目的是能够快速把路由器的状态调整到合理的范围，同时保证正常包的存活率。

在上面三个子系统的基础上，本发明A.M.A.T系统又可以细分为7个模块，分别是：数据包采样模块、流量强度聚集模块、异常模式聚集模块、防御规则生成模块、目的地址识别模块、规则执行及反馈模块和系统信息输出模块。以下分别叙述：

模块a，数据包采样模块：数据包采样模块采用内容激发的分布式采样算法，在高效的同时保证了采样流量波形不失真，降低了系统对所有包统计的负担。在有些攻击手段中，这种采样算法可能会失效，这时系统会自动切换到固定间隔采样，即简单地每隔N个IP包采样一次。

模块b，流量强度聚集模块：强度聚集使用哈希表处理，主要是发现一定时间周期内的高强度的目的IP聚集。它直接对采样数据进行聚集，这样在实际使用中，不但降低了对数据存储和计算的要求，并且能够保证流量强度的不失真。哈希表是一种快速定位方法，本发明A.M.A.T系统使用4*256二维数组来对目的IP地址进行哈希计算，首先把目的IP分为四个部分，每个部分一个字节(8bit)，这样每个字节对应一个位置，四个字节对应二维数组中的四个位置，系统设置溢出门限和定时清理机制，当四个门限均被突破时，就认为该目的IP出现高强度。

模块c，异常模式聚集模块：流量强度聚集模块的一次地址聚集可以得出异常流量的地址集合。二次模式聚集的目的就是进一步对异常流量进行聚集分类，缩小异常流量范围，精确地找到被攻击主机的IP地址和攻击类型，以便于规则生成模块对流往该地址的聚集的进行分析，生成规则，并通知响应模块做出合适的响应。

模块d，防御规则生成模块：规则生成模块的设计目的是根据二次聚集模块所得到的攻击IP地址和攻击协议，统计流往该IP地址的数据包的特征，生成攻击防御规则，并将其传给攻击响应模块，使攻击响应模块能够做出合适的响应。规则可以是动态ACL的生成，或是动态的流量限速。

模块e，目的地址识别模块：本发明A.M.A.T系统的防御规则是一个集合，对IP包的判断是判断目的IP是否和其中的一条检查规则匹配，如果匹配，还没有说明就一定需要对该IP包进行检查，因为A.M.A.T中的检查规则还和具体的协议相关的。本发明A.M.A.T系统对一个IP共有三个协议检查规则：TCP、UDP和ICMP(可以根据需要做协议扩展)。所以在检查IP符合后，还要检查该IP的协议是否和规则中生效的对应协议规则相配。如果全部一致，收集该IP信息到处理队列。

模块f，规则执行及反馈模块：规则执行模块是A.M.A.T系统的关键模块，它对接收到的IP包根据其目的IP地址和使用的协议进行判断之后，执行防御规则并反馈规则的执行结果。

模块g，系统信息输出模块：A.M.A.T系统设计了一个系统信息输出模块，负责把相关的模块的输出信息写入日志文件。

上述模块具有以下特点：在模块a和模块b中，一次地址聚集采用内容激发的分布式采样算法，效率高，满足报文样本统计的随机性，且能确保网络流量波形不失真。在模块b中，一次地址聚集采用改进的Counter Bloom Filter表，增加一个记录表结构，记录一些必要的历史信息，一方面过滤经过hash映射表没有引起溢出的流量，保持hash映射历史的延续性，另一方面过滤经过hash映射表引起溢出的流量，放行假性聚集流量。防聚集抖动的累积算法，在脉冲攻击发生的时候，Bloom filtering算法就会发生摆动，不能稳定的对攻击进行聚集判断。为了是使该算法更加的稳定，排除因为攻击强度在时间上的抖动而产生的影响，这里采用了防聚集抖动的累积算法。在模块c中，对一次地址聚集得出异常流量的可疑IP地址进行二次模式聚集，进一步对异常流量进行聚集分类，缩小异常流量范围，更精确的找到恶意异常流量，以便于响应策略根据不同聚集的恶意程度做出合适响应。对二次聚集产生的异常IP地址的数据信息进行数据管理采用基于Adapted-MULTOPS的数据管理方式。它可以在一个固定大小的空间内快速查询定位，并且可以在允许的范围内进行伸展和收缩。多层模式聚集，协议分析把符合一次地址过滤的IP包分为三类：TCP包、UDP包和ICMP包(不是这三类协议的IP包不做聚集处理)。考虑到这种聚集有可能是正常的数据突发(flash crowd)造成的，为此，本发明依据不同的协议的统计特性设计聚集模式表，以达到对攻击流量的准确判断和过滤。

图1是本发明方法的总体流程图。路由器的主要功能是数据转发，考虑到性能，不能将所有的包都进行统计或检测，本发明设有一个性能监视模块，作为数据包采样模块的触发点，性能监视模块使用SNMP的相关参数(比如丢包率、资源使用率等)，一旦性能监视模块发现路由器的性能参数变化达到一定的门限，就认为出现异常流量负载，这时将启动数据包采样模块，数据包采样模块按照相应的频率和方法对数据采样，并提供给流量强度聚集模块。流量强度聚集模块是系统的核心，它判断路由器上是否发生了异常流量，以及异常聚集的定位。在做这个判断时，同时结合性能监视模块的数据参数进行综合分析。流量强度聚集模块首先对目的地址进行一次聚集，得出包强度很大的目的地址集合，异常模式聚集模块再针对该地址集合进行二次模式聚集，对聚集进行细分，确定不同聚集的不同恶意程度来决定聚集的速率限制优先级别。在得出结论后，由攻击反应策略计算并分配各个聚集的限制速率，根据攻击模式来对流量进行过滤，最后将攻击流量丢弃，正常流量交付给路由器进行其它的处理，这是一个不断反馈和循环的过程。

图2是本发明系统的模块数据流图。实施例中，本发明A.M.A.T系统设计在路由器上，使用A.M.A.T的地址聚集、模式识别和规则生成与执行等一系列技术来监测和拒绝网络上的异常流量。具体实现分为用户空间部分和内核空间部分，二者中间通过消息机制进行通讯。数据包采样模块对数据包进行采样，在不消耗过量的系统资源的同时，真实反映网络中的流量变化，算法简单高效，运算量小，在内核空间实现。流量强度聚集模块使用Counter Bloom Filter表对采样出来的数据包中目的IP相同的IP包进行聚集计数，得出高强度的目的IP，算法简单高效，需要处理的数据包数量巨大，在内核空间实现。异常模式聚集模块对高强度的目的IP进一步识别出是否为攻击异常，计算复杂，需要的空间也较大，在用户空间实现。DOS/DDOS防御规则生成模块根据异常流量的特征，采用滑动窗口机制进行统计分析并生成防御规则。计算相对复杂，需要的空间也较大，在用户空间实现。目的地址识别模块简单比较目的IP，识别具体IP包是否需要上传给具体请求模块，对速度的要求高，在内核空间实现。规则执行及反馈模块根据防御规则，对异常流量进行过滤，并将执行效果反馈给规则生成模块。对速度要求高，在用户空间实现会大大影响效率，所以在内核空间实现。系统信息输出模块涉及到文件系统，记录各个模块的输出信息并保存为日志，在用户空间实现。

图3是本发明系统进程图。在内核空间主要有三个进程：入进程、出进程和消息服务进程。其中入进程主要执行：IP包采样、一次地址聚集、发送包组信息、日志信息和聚集IP信息到用户空间和把高强度聚集的目的IP排入自定义队列。出进程主要执行：根据规则过滤IP包和反馈执行效果消息给规则生成模块。消息服务进程主要接收各种用户进程发送的消息，它是一个消息处理循环。主要处理的消息如下：1)要求内核不要再发送IP详细信息给用户空间，目前该功能保留；2)用户进程发送来新的防御规则，要求内核进程进行增加或更新老的规则集合；3)用户进程启动发送的自身PID，通知内核用户进程已经启动；4)日志进程启动发送的自身PID，通知内核日志进程已经启动，目前日志进程没有作为一个独立的进程出现，而是和A.M.A.T其它用户进程在一起；5)用户进程退出发送的退出消息，通知内核用户进程已经退出。

图4是本发明系统的内核空间数据流图，消息服务进程使用消息池接收所有用户层消息，并根据消息内容配置全局参数。所有进入路由器的IP包首先被入进程截获，然后分流，把异常流量输送给出进程继续处理。入进程和出进程需要用到一些全局参数，在需要的时候使用消息池向用户层发送消息。消息池是一段共享的内存区，把要发送的数据发送到消息池，再由消息池转发给相应的用户层进程。消息服务进程处理所有的用户层发送过来的消息，包括参数配置信息，并进行不同的处理。入进程截获所有进入的IP包，其核心功能如下：1)处理流量统计信息；2)把写满的日志信息发送给用户空间；3)采样并对采样到的IP包进行地址聚集；4)把聚集溢出的目的地址发给用户空间；5)根据当前记录规则表分流；6)收集必要的流量信息并把它发送给用户空间；7)将异常送给出进程处理；8)将正常流量注入正常的路由。

出进程根据过滤规则处理异常流量，其核心功能如下：1)缓存一定数量的IP包；2)当缓存的包数达到可检测数量，则根据规则检测；3)根据检测结果决定丢弃哪些包；4)处理流量统计信息。

图5是本发明系统的用户空间系统数据流图，消息进程接收所有来自内核空间的消息，并根据消息类型把消息携带的数据分配给相应的进程进行后续处理。配置和流量处理进程直接向消息池发送配置消息。四个数据处理进程共享一些全局参数，实现消息的相互传递。消息进程根据消息类型分配消息；流量处理进程处理当前流量信息；反馈图样处理进程处理理内核发送来的不好的过滤规则信息；异常聚集IP处理进程处理内核发送过来的异常聚集IP信息；日志输出进程处理内核发送过来的流量统计信息，并输出日志信息到文件。

图6是本发明在边缘网络的一个应用示例，通过在低端路由器上应用A.M.A.T技术阻止、限制异常流量攻击目标网络。

图7是本发明在核心网络的一个应用示例，通过在每个高端骨干路由器上都应用A.M.A.T技术，采用分布式结构，有效地过滤网络异常流量，保证网络骨干层的畅通，提高网络带宽的利用率。

综上所述，本发明提出的内置于路由器的基于多级聚集的异常流量控制(A.M.A.T)方法与系统，采用前台采集数据包，并直接在前台对数据进行一次地址聚集和二次模式聚集分析。这种多层的基于目的IP地址的聚集流的分析策略，更加明确了发生流量攻击的聚集，在路由器上直接对攻击流量实行一定的过滤策略，有效地减少了网络在传送攻击流量上的带宽浪费，提高了路由器的使用效率和网络带宽的利用率。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (15)

1.一种基于多级聚集的异常流量控制系统，其特征在于，包括以下子系统：

异常流量识别子系统，用于针对不同场合进行数据抽样并进行地址聚集；

异常流量分类规则自动生成子系统，用于聚集模式的设计、二次模式聚集、包分类和数据管理；

异常流量匹配和拒绝方法实施子系统，用于根据二次模式聚集的结果对各个聚集的速率限制设置不同的优先级别，并且对异常聚集流进行限制。

2.根据权利要求1所述的系统，其特征在于，异常流量识别子系统通过识别算法，并采用历史信息表来增加对攻击判断的准确率，同时还在地址聚集算法中结合采用防抖动的算法，用累计值来判断异常，增加对脉冲攻击的识别能力。

3.根据权利要求1或2所述的系统，其特征在于，异常流量分类规则自动生成子系统根据具体的协议统计特征，提出不同的聚集模式。

4.一种基于多级聚集的异常流量控制系统，其特征在于，包括以下模块：

模块a，数据包采样模块：用于对数据包进行采样；

模块b，流量强度聚集模块：用于发现一定时间周期内的高强度的目的IP聚集；

模块c，异常模式聚集模块：通过二次模式聚集对异常流量进行聚集分类，以便于防御规则生成模块对流往该地址的聚集进行分析，生成规则，并通知规则执行及反馈模块做出合适的响应；

模块d，防御规则生成模块：根据异常模式聚集模块所得到的攻击IP地址和攻击协议，统计流往该IP地址的数据包的特征，生成攻击防御规则，并将其传给规则执行及反馈模块，使规则执行及反馈模块能够做出合适的响应；

模块e，目的地址识别模块：用于判断IP包的目的IP是否和攻击防御规则中的检查规则匹配；

模块f，规则执行及反馈模块：用于对接收到的IP包根据其目的IP地址和使用的协议进行判断之后，执行防御规则并反馈规则的执行结果。

5.根据权利要求4所述的系统，其特征在于，本系统还包括：模块g，系统信息输出模块：用于把相关模块的输出信息写入日志文件。

6.根据权利要求4或5所述的系统，其特征在于，本系统还包括：模块h，性能监视模块，用于触发数据包采样模块。

7.根据权利要求4或5所述的系统，其特征在于，本系统还包括：数据包采样模块采用内容激发的分布式采样算法，在该算法失效时自动切换到固定间隔采样。

8.根据权利要求4或5所述的系统，其特征在于，流量强度聚集模块采用哈希表直接对采样数据进行聚集。

9.根据权利要求8所述的系统，其特征在于，流量强度聚集模块使用4*256二维数组对目的IP地址进行哈希计算；即把目的IP分为四个部分，每个部分一个字节对应一个位置，四个字节对应二维数组中的四个位置，系统设置溢出门限和定时清理机制，当四个门限均被突破时，即判定该目的IP出现高强度流量。

10.一种基于多级聚集的异常流量控制方法，包括以下步骤：

步骤一，对数据包进行采样；

步骤二，对一定时间周期内的高强度的目的IP进行聚集；

步骤三，通过二次模式聚集对异常流量进行聚集分类，得到攻击IP地址和攻击协议；

步骤四，根据步骤三所得到的攻击IP地址和攻击协议，统计流往该IP地址的数据包的特征，生成攻击防御规则；

步骤五，判断IP包的目的IP是否和攻击防御规则中的检查规则匹配；

步骤六，对接收到的IP包根据其目的IP地址和使用的协议进行判断之后，执行防御规则并反馈规则的执行结果。

11.根据权利要求10所述的方法，其特征在于，本发明还包括步骤七：把相关模块的输出信息写入日志文件。

12.根据权利要求10或11所述的方法，其特征在于，数据包采样采用内容激发的分布式采样算法，在该算法失效时自动切换到固定间隔采样。

13.根据权利要求10或11所述的方法，其特征在于，步骤二采用哈希表直接对采样数据进行聚集。

14.根据权利要求13所述的方法，其特征在于，步骤二对采样数据进行聚集使用4*256二维数组对目的IP地址进行哈希计算；即把目的IP分为四个部分，每个部分一个字节对应一个位置，四个字节对应二维数组中的四个位置，系统设置溢出门限和定时清理机制，当四个门限均被突破时，即判定该目的IP出现高强度流量。

15.根据权利要求10或11所述的方法，其特征在于，步骤五中，检查规则和具体的协议相关，对一个IP共有三个协议检查规则：TCP、UDP和ICMP；在检查IP符合后，还要检查该IP的协议是否和检查规则中生效的对应协议规则相配，若全部一致，则收集该IP信息到处理队列。

Images