CN105282152B - 一种异常流量检测的方法 - Google Patents

Abstract

本发明公开了一种异常流量检测的方法，包括：检测设备对报文的目标IP进行统计和检测；所述检测设备筛选出异常的目标IP，并向清洗设备发出通告；所述清洗设备对含有所述异常的目标IP的报文进行源IP统计、特征码统计和报文长度概率统计后再进行清洗过滤。本发明解决目前的异常流量检测装置检测性能低下和清洗效果不理想等问题，提高检测和清洗的准确率。

Description

一种异常流量检测的方法

技术领域

本发明涉及网络流量统计分析领域，尤其涉及一种异常流量检测的方法。

背景技术

拒绝服务攻击(DoS,Denial of Service)是指利用各种服务请求耗尽被攻击网络的系统资源，从而使被攻击网络无法处理合法用户的请求。而随着僵尸网络的兴起，同时由于攻击方法简单、影响较大、难以追查等特点，又使得分布式拒绝服务攻击(DDoS，Distributed Denial of Service)得到快速壮大和日益泛滥。成千上万主机组成的僵尸网络为DDoS攻击提供了所需的带宽和主机，形成了规模巨大的攻击和网络流量，对被攻击网络造成了极大的危害。

随着DDoS攻击技术的不断提高和发展，互联网服务提供商(ISP，InternetService Provider)、因特网内容提供商(ICP，Internet Content Provider)、互联网数据中心(IDC，Internet Data Center)等运营商面临的安全和运营挑战也不断增多，运营商必须在DDoS威胁影响关键业务和应用之前，对流量进行检测并加以清洗，确保网络正常稳定的运行以及业务的正常开展。同时，对DDoS攻击流量的检测和清洗也可以成为运营商为用户提供的一种增值服务，以获得更好的用户满意度。

关于应对DDOS攻击，有两个核心的要求，第一是能及时发现异常的情况(即可能出现攻击)，第二是在大流量的攻击中把真正的攻击者找出来。

目前的异常流量检测方法一般是采用旁路部署检测设备，串联部署清洗设备的使用方法，其检测设备一般既检测异常的目标IP亦会尝试找出攻击的IP即源IP，然后向清洗设备宣告异常，清洗设备对异常进行特定的清洗策略进行简单的过滤清洗，这种方法的缺陷在于检测设备需要对大量的目标进行统计检测时已经消耗了极大的性能，再加上尝试找出攻击IP，不但会使性能大大减低，其准确率也不理想，而清洗设备清洗策略过于简单，会产生误杀或者清洗不干净问题，对网络中的用户产生了不好的体验。

发明内容

有鉴于此，本发明实施例提供一种异常流量检测的方法，以解决现有技术中的技术问题。

本发明实施例提供了一种异常流量检测的方法，包括：

检测设备对报文的目标IP进行统计和检测；

所述检测设备筛选出异常的目标IP，并向清洗设备发出通告；

所述清洗设备对含有所述异常的目标IP的报文进行源IP统计、特征码统计和报文长度概率统计后再进行清洗过滤。

本发明的有益效果：本发明提供的一种异常流量检测的方法，对流量进行分离统计，检测设备对目标IP进行统计检测，发现异常后由清洗设备对源IP、特征码和报文长度概率进行统计后再进行清洗过滤，这样检测设备能专心于对目标进行统计检测，性能将大大提升，而清洗设备会精确到对每一个源IP进行统计，能把误杀和清洗不干净的情况出现降到最低，可以大大提高清洗的效果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例一提供的一种异常流量检测的方法的流程图；

图2是本发明实施例二提供的一种检测设备对目标IP统计的流程图；

图3是本发明实施例三提供的一种异常流量检测的方法的具体流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1是本发明实施例一提供的一种异常流量检测的方法的流程图。该方法适用于在大流量环境下，对异常流量进行检测和清洗的情况。比如一些运营商可以应用此方法来对流量进行检测并加以清洗，确保网络正常稳定的运行以及业务的正常开展。该方法由异常流量检测的检测装置和清洗装置执行，该装置可设置在终端中，可以采用软件和/或硬件的形式实现。

如图1所示，该方法包括：

S110、检测设备对报文的目标IP进行统计和检测。

异常流量检测方法的执行设备包括检测设备和清洗设备。先由检测设备接收服务器传来的报文，并由检测设备完成统计和检测。

进一步的，检测设备在对接收到报文时，从所述报文中取出目标IP。检测设备只统计和检测目标IP。

所述检测设备判断所述目标IP是否存在于哈希数组中，若不存在，在所述哈希数组的统计总报文数单元PKG、统计每秒报文数单元PS、统计正常的报文数单元NOR、统计报文平均值单元AVG和检测异常持续时间单元ATT的子数组中，为所述目标IP地址设置对应的数组位，设置初始值为零，并将PKG中对应的数组位的值加1；若存在，直接使所述目标IP对应的PKG数组位的值加1。

哈希函数存在于检测设备中，是一个大单元，里面有五个子单元，分别是PKG、PS、NOR、AVG和ATT，然后这些子单元又都是一个数组，数组中设置有数组位来表征对应的目标IP。

进一步的，检测设备对报文的目标IP进行检测包括：检测设备建立统计线程，每隔一秒对所述哈希数组中所有数组位进行遍历计算，逐一取出目标IP对应的各个数组位上的值，根据其前后一秒PKG的值相减得出与所述目标IP对应的PS的值，并且使所述目标IP的建立时间加1。

进一步的，若所述目标IP建立时间小于30秒，把与目标IP相对应的PS的值累加进NOR的值，然后用NOR的值除以所述目标IP的建立时间得出AVG的值。

若所述目标IP建立时间不小于30秒：若所述目标IP对应的PS的值小于AVG的值的四倍时把PS的值累加进NOR的值中，然后用所述NOR的值除以其建立时间得出新的AVG的值，若目标IP对应的ATT的值大于零，则所述ATT的值减1，若所述目标IP对应的PS的值不小于AVG的值的四倍，所述ATT的值加1，若所述ATT的值大于10，则所述目标IP发生异常并向清洗设备发出通告。

建立统计线程是为了对哈希数组中的与目标IP相对应的各个数组位上的值进行实时的更新。检测设备只统计和检测目标IP，为每个目标IP建立的前30秒建立流量动态基线并以此来对该IP后续流量进行动态调整并检测其是否出现异常。

目标IP建立前不超过30秒为正常，一旦超过30秒则对其哈希数组中对应的各个数组位上的值进行检测和分析。

当超过30秒时，以PS的值和四倍的AVG的值形成比较的门限值来判断目标IP在一秒内是否正常。通过ATT统计目标IP异常的持续时间，当此目标IP异常持续时间超过10秒判定为异常的目标IP。

S120、检测设备筛选出异常的目标IP，并向清洗设备发出通告。

检测设备与清洗设备之间唯一的联系即为目标IP，当检测设备筛选出异常的目标IP则向清洗设备发出通告，告知异常的目标IP。

进一步的，在检测设备筛选出异常的目标IP，并向清洗设备发出通告之后，还包括：

清洗设备接收到异常通告并从中取出异常目标IP，为所述异常目标IP建立统计总报文数单元TOT、统计每个源IP的报文单元ICT、统计每种报文长度的数量单元LEN和统计报文样本单元DNA，并生成一个随机数R用于抽取报文样本。

检测设备和清洗设备的所有单元都是独立的，这里建立的单元都是在清洗设备上的。当清洗设备得知异常目标IP时，再为其建立各个统计单元。

对流量进行分离统计，检测设备统计目标IP而清洗设备统计源IP，不仅能使检测的性能大大提升，而且可以大大提高清洗的效果，误杀和清洗不干净的情况得到极大的改善。

S130、所述清洗设备对含有所述异常的目标IP的报文进行源IP统计、特征码统计和报文长度概率统计后再进行清洗过滤。

清洗设备在对流量进行源IP统计的同时，会加上统计报文长度出现概率和提取报文特征码等手段进行清洗。这样更能准确而全面的清洗所有的异常报文，保证网络流量的安全。

进一步的，清洗设备对含有所述异常的目标IP的报文进行源IP统计、特征码统计和报文长度概率统计包括：

清洗设备收到一个异常目标IP的报文时，从中取出源IP，获得所述报文长度L，所述TOT的值加1，所述源IP的ICT的值加1，所述报文LEN的值加1，取出所述报文R位置上的值V，让报文R位置上值为V的DNA的值加1。

进一步的，清洗设备对含有所述异常的目标IP的报文进行源IP统计、特征码统计和报文长度概率统计后再进行清洗过滤包括：

若所述收到的异常目标IP的报文的ICT的值除以TOT大于20％，或者LEN的值除以TOT大于20％，或者DNA的值除以TOT大于20％则丢弃报文，否则回注报文到目标服务器。

以接收的异常目标IP的总的报文数的百分之二十为基准，从源IP、报文长度概率和特征码统计三个方面对报文进行限制，使清洗更加全面，保证流量的安全。

本发明实施例一提供的一种异常流量检测的方法，通过对流量进行分离统计，检测设备对目标IP进行统计检测，发现异常后由清洗设备对源IP，特征码和报文长度概率进行统计后再进行清洗过滤，不仅能使检测的性能大大提升，而且可以大大提高清洗的效果，误杀和清洗不干净的情况得到极大的改善。

实施例二

图2是本发明实施例二提供的一种检测设备对目标IP统计的流程图。本实施例以实施例一为基础对检测设备对报文的目标IP进行统计的过程进行具体的示例性描述。如图2所示，包括：

S210、建立数组DH(包含单元PKG、PS、NOR、AVG、ATT)。

建立哈希数组DH，其中包含单元PKG、PS、NOR、AVG和ATT五个子单元，然后这些子单元又都是一个大数组，数组中每个位置属于对应的目标IP，即每个目标IP都有其对应的数组位。

S220、收到报文PKT，从中取出DIP。

PKT中含有目标IP即DIP的信息，检测设备接收到服务器传来的PKT时，从中取出DIP。

S230、判断DIP是否存在于DH中。若是，直接执行S250；否则，执行S240。

判断此报文的DIP在哈希数组DH的各个子单元中是否存在其对应的数组位，若存在，则直接在子单元PKG与此DIP相对应的数组位上的值加1，若不存在，在DH中各个子单元建立与DIP对应的数组位并使其值的初始值为零，然后使子单元PKG与此DIP相对应的数组位上的值加1。

S240、在DH的各单元中建立DIP。

S250、DH->PKG[DIP]加1。然后返回再次执行S220。

此过程在整个清洗过程中都存在，目的是为了时刻能更新哈希数组中的各个目标IP对应的各个子单元中的数值，使检测设备和清洗设备对于异常报文的检测和清洗更加的准确。

本发明实施例二提供的一种异常流量检测的方法，在实施例一的基础上对检测设备对报文的目标IP进行统计的过程进行具体的更为详细的描述。本过程准确快速的更新目标IP的相关信息，更加使检测性能和效果得到提高。

实施例三

图3是本发明实施例三提供的一种异常流量检测的方法的具体流程图。本实施例以上述实施例为基础，对检测设备对目标IP进行检测和清洗设备对检测设备通告的异常目标IP的报文进行源IP的统计，特征码的统计和报文长度的概率统计的整个过程进行具体的流程描述。如图3所示，包括：

S301、建立线程PT。

检测设备建立统计线程PT，每隔一秒对哈希数组DH中所有数组位进行遍历计算，对每个DIP对应的各个数组位的值进行更新。

S302、从DH取出下一个成员DIP。

这里从DH中取出的为DIP对应的各个子单元中的数组位的值。对所有的数组位都要遍历。

S303、根据DH->PKG[DIP]前后一秒相差得出DH->PS[DIP]并且DIP建立时间加1。

这里的建立时间是检测设备在自己的存储单元里建立的一个单元用来存储各个DIP的建立时间，因突出强调并未放入哈希数组DH。

S304、判断DIP建立时间是否小于30秒，若是则执行S305；否则，执行S307。

建立时间是判断异常DIP的依据之一。以30秒为限，建立时间小于30秒的DIP直接视为正常的DIP。

S305、把DH->PS[DIP]累加进DH->NOR[DIP]，DH->ATT[DIP]减1。

DIP的异常持续时间就通过ATT来记录，如果ATT此时大于零，当完成对应DIP的NOR的值的累加后就减1，否则就加1。ATT超过设定的时长，才会最终判断是否发生了攻击的，这就是ATT的用途。

S306、用DH->NOR[DIP]除以建立时间得出新的DH->AVG[DIP]，然后返回执行S302。

S307、判断DH->AVG[DIP]*4<DH->PS[DIP]是否成立。若成立，执行S308，否则执行S305。

S308、DH->ATT[DIP]加1。

S309、判断DH->ATT[DIP]>10是否成立。若成立，执行S310；否则，返回执行S302。

此时ATT的值超过10即视DIP为异常DIP。检测设备要向清洗设备发送通告，以便清洗设备对异常DIP对应的报文进行统计和清洗。

S310、建立单元TOT、ICT、LEN、DNA，生成随机数R。

清洗设备建立的单元TOT、ICT、LEN和DNA，生成随机数R使DNA单元确定R位置上的特征码，便于对异常的报文进行辨认。

S311、收到报文PKT，从中取出源IP即SIP、长度L和其位置R上的值V。

S312、TOT加1、ICT[SIP]加1、LEN[L]加1、DNA[V]加1。

S313、判断是否ICT[SIP]>TOT*0.2或者LEN[L]>TOT*0.2或者DNA[V]>TOT*0.2。若是则执行S314；否则，执行S315。

ICT[SIP]、LEN[L]和DNA[V]分别为清洗设备清洗流量的依据。以收到的异常DIP总报文数的百分之二十为限。其中任一值超过限值，则丢弃此报文。

S314、丢弃报文PKT。然后返回执行S311。

S315、回注报文PKT。然后返回执行S311。

本发明实施例三提供的一种异常流量检测的方法，在以上实施例的基础上，对所述方法检测和清洗的过程进行整体的描述。对流量进行分离统计，检测设备对目标IP进行统计检测，发现异常后由清洗设备对源IP进行统计，同时对特征码统计和报文长度概率统计后再进行清洗过滤，能准确并且有效的对异常流量进行清洗。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (4)

1.一种异常流量检测的方法，其特征在于，包括：

检测设备对报文的目标IP进行统计和检测；

所述检测设备筛选出异常的目标IP，并向清洗设备发出通告；

所述清洗设备对含有所述异常的目标IP的报文进行源IP统计、特征码统计和报文长度概率统计后再进行清洗过滤；

其中，所述检测设备对报文的目标IP进行统计包括：

所述检测设备收到报文时，从所述报文中取出目标IP；

所述检测设备判断所述目标IP是否存在于哈希数组中，若不存在，在所述哈希数组的统计总报文数单元PKG、统计每秒报文数单元PS、统计正常的报文数单元NOR、统计报文平均值单元AVG和检测异常持续时间单元ATT的子数组中，为所述目标IP地址设置对应的数组位，设置初始值为零，并将PKG中对应的数组位的值加1；若存在，直接使所述目标IP对应的PKG数组位的值加1；

所述检测设备对报文的目标IP进行检测包括：

所述检测设备建立统计线程，每隔一秒对所述哈希数组中所有数组位进行遍历计算，逐一取出目标IP对应的各个数组位上的值，根据其前后一秒PKG的值相减得出与所述目标IP对应的PS的值，并且使所述目标IP的建立时间加1；

在所述使所述目标IP的建立时间加1之后，还包括：

若所述目标IP建立时间小于30秒，把与目标IP相对应的PS的值累加进NOR的值，然后用NOR的值除以所述目标IP的建立时间得出AVG的值；

若所述目标IP建立时间不小于30秒：若所述目标IP对应的PS的值小于AVG的值的四倍时把PS的值累加进NOR的值中，然后用所述NOR的值除以其建立时间得出新的AVG的值，若目标IP对应的ATT的值大于零，则所述ATT的值减1，若所述目标IP对应的PS的值不小于AVG的值的四倍，所述ATT的值加1，若所述ATT的值大于10，则所述目标IP发生异常并向清洗设备发出通告。

2.根据权利要求1所述的方法，其特征在于，在所述检测设备筛选出异常的目标IP，并向清洗设备发出通告之后，还包括：

清洗设备接收到异常通告并从中取出异常目标IP，为所述异常目标IP建立统计总报文数单元TOT、统计每个源IP的报文单元ICT、统计每种报文长度的数量单元LEN和统计报文样本单元DNA，并生成一个随机数R用于抽取报文样本。

3.根据权利要求2所述的方法，其特征在于，所述清洗设备对含有所述异常的目标IP的报文进行源IP统计、特征码统计和报文长度概率统计包括：

清洗设备收到一个所述异常目标IP的报文时，从中取出源IP，获得所述报文长度L，所述TOT的值加1，所述源IP的ICT的值加1，所述报文LEN的值加1，取出所述报文R位置上的值V，让报文R位置上值为V的DNA的值加1。

4.根据权利要求3所述的方法，其特征在于，所述清洗设备对含有所述异常的目标IP的报文进行源IP统计、特征码统计和报文长度概率统计后再进行清洗过滤包括：

若所述收到的异常目标IP的报文的ICT的值除以TOT大于20％，或者LEN的值除以TOT大于20％，或者DNA的值除以TOT大于20％则丢弃报文，否则回注报文到目标服务器。