CN101945112B - 一种isp异常流量检测方法及系统 - Google Patents

Abstract

本发明公开了一种ISP异常流量检测方法及系统，属于信息安全领域。其方法包括：捕获网络数据包的步骤；进行危险网络数据流的识别，确定危险区域的步骤；提取发送至危险区域的危险网络数据流的危险模式的步骤；将危险模式与记忆检测器进行匹配，同时更新记忆检测器抗体浓度的步骤；根据记忆检测器抗体浓度确定网络异常流量风险值的步骤。本发明的系统包括：网络数据包获取模块、危险识别模块、危险区域识别模块、网络异常流量模式识别模块、危险评估模块。本发明可以解决误报率较低、自适应能力差或无自适应能力的问题，还采用了网络流量异常流量的容忍机制，使其具有因大量突发正常网络访问导致的网络流量异常的检测能力。

Description

一种ISP异常流量检测方法及系统

技术领域

本发明涉及信息安全领域，特别是一种ISP异常流量检测方法及系统。

背景技术

传统的网络异常流量检测技术包括基于特征码的检测技术和异常检测技术。基于特征码的网络异常流量检测技术(如DDOS攻击流量、端口扫描攻击流量等)，仅当其特征库中事先保存有危险网络数据流特征码的情况下才能检测到，否则将会逃过检测；传统异常检测技术通过建立正常行为模型，然后与建立的正常行为模型进行比对，如果超过一定的阈值，则检测到异常，否则正常。因此异常检测技术具有未知异常流量的能力，常用的异常检测方法有：MULTOPS方法、D-WARD方法、预测方法、基于统计的方法、基于数据挖掘的方法等。传统异常检测技术存在以下主要缺点：

(1)存在较高的误报率，由于实际用户行为模型经常发生变化，所以建立的正常行为模型会缺乏自适应性或自适应性较差，常将正常网络流量识别为异常网络流量。

(2)缺乏对由于大量突发正常网络访问导致的网络流量异常的检测能力，如黑客操纵大量僵尸机发起正常HTTP访问。

(3)缺乏网络流量异常流量的容忍机制。

针对ISP(Internet Service Provider)，如果由于误报而阻断了用户的网络连接，将直接导致正常用户网络业务被中断。因此，如何使ISP具备一定程度的异常流量容忍能力并有效地检测异常流量，给ISP提出了很大挑战。

发明内容

本发明的目的是针对现有技术存在的缺点，提供一种ISP异常流量的检测方法及检测系统，可以解决误报率较低、自适应能力差或无自适应能力的问题，还采用了网络流量异常流量的容忍机制，使其具有大量突发正常网络访问导致的网络流量异常的检测能力。

本发明的目的是通过以下技术方案实现的：

本发明的一种ISP异常流量检测方法，其检测方法包括：

步骤S1，捕获网络数据包；

步骤S2，对捕获的网络数据包进行危险网络数据流的识别，确定危险区域；

步骤S3，提取发送至危险区域的危险网络数据流的危险模式；

步骤S4，将危险网络数据流的危险模式与记忆检测器进行匹配，同时更新记忆检测器抗体浓度；

步骤S5，根据记忆检测器抗体浓度确定网络异常流量风险值。所述网络异常流量风险值包括某一类网络异常流量风险值和计算机整体网络异常流量风险值。

具体的，在上述的步骤S2中，对捕获的网络数据包进行危险网络数据流的识别方法包括：方法一，首先，计算并确定某数据流净载荷的区间范围；其次，计算t时刻该数据流净载荷字节数与其在[t-l，t]时间范围内数据流净载荷字节数的差值；再次，判断该差值是否在该数据流净载荷的区间范围内，如果在，则该数据流不存在危险，否则该数据流存在危险。方法二，首先，通过计算并确定某数据流阈值；其次，计算t时刻该数据流与其在[t-l，t]时间范围内数据流字节数的差值；再次，判断该差值是否小于数据流阈值，如果是则该数据流存在危险，否则该数据流不存在危险。本发明的数据流净载荷的区间范围和数据流阈值的计算与确定中，都利用异常容忍因子。

具体的，在上述的步骤S2中，确定所述危险区域的方法包括：步骤S21，从所有危险的数据流中提取出这些数据流的目标IP地址；步骤S22，将这些IP地址区域标识为危险区域；

具体的，在上述的步骤S4中，所述的记忆检测器由检测器进化而来，其演化过程及方法包括：步骤S41，检测器与危险网络数据流的危险模式进行匹配；步骤S42，判断匹配是否成功，如果是则执行步骤S45，否则执行步骤：步骤S43，检测器存活时间减少；步骤S44，判断检测器存活时间是否为零，若为零，则删除该检测器，否则返回步骤S41；步骤S45，检测器存激活度增加；步骤S46，判断检测器激活度是否大于记忆检测器阈值，若大于，则进化为记忆检测器，否则返回步骤S41。所述记忆检测器抗体浓度的更新方法包括：步骤S41′，记忆检测器在抗体浓度保持周期内与网络危险数据流的危险模式进行匹配；步骤S42′，判断匹配是否成功，若匹配成功，则该记忆检测器的抗体浓度增加，并同时配置该记忆检测器的存活时间为0，否则该记忆检测器的抗体浓度减少，同时该记忆检测器的存活时间加1。

本发明的一种ISP异常流量检测系统，所述ISP异常流量检测系统部署在ISP出口位置处，将ISP出口路由器的网络数据旁路到所述ISP异常流量检测系统，所述ISP异常流量检测系统包括网络数据包捕获模块，还包括：

危险识别模块：将网络数据包捕获模块捕获的数据包进行数据流分析，判断网络数据流中是否存在危险，对存在危险的网络数据流交由危险区域识别模块处理；

危险区域识别模块：提取存在危险的网络数据流的目标IP地址，将这些IP地址标识为危险区域，并提取发送至标识为危险区域的危险网络数据的危险模式，将提取的危险模式交由网络异常流量模式识别模块进行处理；

网络异常流量模式识别模块：对危险模式进行匹配识别，如果匹配不成功则说明网络数据流中没有异常，否则产生告警并交由危险评估模块进行危险评估；

危险评估模块：对网络异常流量模式识别模块输出的告警进行风险评估。

具体的，本发明的一种ISP异常流量检测系统，还包括免疫响应模块，所述免疫响应模块根据危险评估模块的评估结果，采取相应的措施减少网络异常流量带来影响。

由于本发明采用了以上的技术方案，因此办发明可以达到以下的有益效果：

1、本发明在采用危险识别后，在危险值高于设定的阈值时对网络数据流流量进行进一步的识别，并且采用经检测器对危险数据流进行检测，可以有效的降低误识率。

2、本发明采用检测器淘汰机制，在检测器匹配不成功的话就减少检测器的存活时间，当检测器存活时间减少为0时淘汰检测器；当检测器匹配成功的话就增加检测器的激活度，当检测器的激活度大于记忆检测器的阈值时就进化为记忆检测器，这种淘汰机制在保证降低误识率的同时，还具有自适应能力。

3、本发明采用了网络流量异常流量的容忍机制，因此具有大量突发正常网络访问导致的网络流量异常的检测能力。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明ISP异常流量检测方法流程图。

图2是危险模式识别原理图。

图3是检测器生命周期模型图。

图4是检测器编译原理框图。

图5是本发明ISP异常流量检测系统在网络系统中设置位置的原理图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

在介绍本发明具体实施技术方案前，先介绍一下本发明基于的一种理论。生物免疫系统危险理论指出生物免疫系统基于“危险信号”产生免疫反应，而不是基于自体/非自体辨识。生物体的免疫保护机制，它能有效地保护生物机体的安全，并具有耐受性、自学习、分布式并行处理、多样性、自组织、鲁棒性、自适应和免疫记忆等优良特性。它能快速记住以前的病原体，当同一或类似的病原体再次相遇时能快速识别。计算机网络系统中异常流量的产生主要来源于黑客控制的大量傀儡机，这些傀儡机产生的异常流量可以由大量的正常网络访问构成，如HTTP请求，也包括由大量直接的DDOS攻击流量构成，如ICMP攻击等。危险理论与网络异常流量检测的相似性可将生物免疫系统危险理论的机制应用于网络异常流量检测，可有效解决网络异常流量检测中的技术难题。

针对网络异常流量中存在的检测速度、耐受异常流量、准确识别已知和未知异常流量等技术难题，依据生物免疫系统危险理论原理，本发明提出一种基于危险理论的ISP异常流量检测方法。与传统网络异常流量检测方注重直接针对网络攻击异常流量检测、缺乏容忍机制与未知异常流量识别能力相比，本发明更注重网络异常流量的容忍能力、危险识别能力、危险模式的快速识别能力与未知危险模式的识别能力。

在详细说明之前，首先定义系统中使用的一些名词、符号以及一些公式：

(1)字符串集合：

其中C为字符集合。

(2)告警：将网络告警Alarm定义为一个四元组Alarm＝(Time，Destination，Type)。其中，Time是告警时间，Destination为导致告警产生的目的IP，Type为告警类型。告警分为凋亡告警和坏死告警，凋亡告警是由于“正常”网络服务请求导致的网络流量异常，这种“正常”网络流量异常可能是无意的(如由于某种事件导致大量用户访问痛一个网页)或是恶意的(如黑客操纵傀儡机发起大量正常网络访问请求到某一目标服务器)；坏死告警是由于直接网络攻击导致网络异常流量而产生的告警。

(3)危险区域：在网络异常流量中，通过对发出的危险信号进行分析锁定其目标IP地址，将这些IP地址范围确定为危险区域。危险区域是给下一级高级检测进行识别的区域，危险区域是告知检测系统应进行难点防范的区域。

(4)检测器：定义检测器集合为D＝{<g，s，count>|g∈Ω，s，age，count∈Z}。其中，g为字符串，由IP包头、TCP头、UDP包头、应用层部分内容等组成的字符串；s为检测器存活时间，count为检测器生命周期内匹配的危险模式数。

(5)记忆检测器：记忆检测器T＝{<g，s，count，co>|g∈Ω，s，count∈Z，co∈R}为检测器在其生命周期内，当匹配的危险模式在于或等于一个给定的阈值λ是，该检测器进化为记忆检测器，记忆检测器的存活时间为无穷大。其中，co为记忆检测器的抗体浓度，初始值为η₁。

下面，结合附图对本发明的技术方案做详细的说明。如图1所示，是本发明一种ISP异常流量检测方法的流程图，一种ISP异常流量检测方法，其检测方法包括：

步骤S1，捕获网络数据包。网络数据包捕获模块将在网络上捕获的数据包交给“危险误别模块”进行危险识别。

步骤S2，对捕获的网络数据包进行危险网络数据流的识别，确定危险区域。本发明的对于捕获的网络数据包进行危险网络数据流的识别的方法是：

方法一：

(1)对捕获的网络数据流按目标IP地址进行分类，计算并确定t时刻流向每一个IP地址数据流中包含的以字节为单位的字节数

(2)计算并确定[t-l，t]时刻每一个目标IP地址的的平均值

(3)判断该差值是否在该数据流净载荷的区间范围内，如果在，则该数据流不存在危险，否则该数据流存在危险。如果以λ_h和λ_l表示网络数据流净载荷的上界值和下界值，其中λ_h＝c₁×ρ_sa，λ_l＝c₂×ρ_sa，c₁为网络数据流净载荷异常数据流的上界容忍因子，c₂网络数据流净载荷异常数据流的下界容忍因子，c₃为异常数据流的容忍因子，ρ_sa为网络数据流净载荷标准差，如果

则该数据流不是危险数据流，否则为危险数据流。

方法二：

(1)对捕获的网络数据流按目标IP地址进行分类，计算并确定t时刻流向每一个IP地址数据流净载荷(应用层数据)中包括的以字节为单位的字节数

(2)计算[t-l，t]时刻每一个目标IP地址

的平均值

(3)判断该差值是否小于数据流阈值，如果是则该数据流存在危险，否则该数据流不存在危险。如果以

为数据流阈值，其中

c₃为异常数据流的容忍因子，ρ_st网络数据流标准差，如果

则该数据流不是危险数据流，否则为危险数据流。

步骤S3，提取发送至危险区域的危险网络数据流的危险模式。如图3所示，是提取危险网络数据流的危险模式的原理图，在危险网络数据流传送至危险区域时，危险区域的危险区域监视器将网络危险数据流进行危险模式提取。

步骤S4，将危险网络数据流的危险模式与记忆检测器进行匹配，同时更新记忆检测器抗体浓度。

(1)首先由记忆检测器进行识别，如果记忆检测器匹配成功，则产生告警，并进行危险(风险值)评估。

(2)如果记忆检测器没有成功匹配，则交由一般检测器进行进一步识别，如果匹配成功，则产生告警，并进行危险(风险值)评估。

(3)如果以上两步都没有匹配成功，则说明网络数据流中没有异常。

记忆检测器是由检测器进化而来，在下一次遭遇同样危险模式时能快速匹配并迅速做出反应。为了加快检测速度和引入新的检测器以检测新的危险模式，与此同时，受计算资源的制约不可能实现检测器数据的不断增长。因此，为了保持检测器的良好检测性能，引入竞争与淘汰机制，确保好的检测器保留下来，并淘汰劣质检测器，即在检测器生命周期内，如果检测器没有匹配成功，则该检测器被删除；如果激活度达到记忆检测器阈值，则进化为记忆检测器，检测器生命周期模型如图3所示，所述记忆检测器由检测器进化而来，其演化步骤包括：

步骤S41，检测器与危险网络数据流的危险模式进行匹配；

步骤S42，判断匹配是否成功，如果是则执行步骤S45，否则执行步骤：

步骤S43，检测器存活时间减少；

步骤S44，判断检测器存活时间是否为零，若为零，则删除该检测器，否则返回步骤S41；

步骤S45，检测器存激活度增加；

步骤S46，判断检测器激活度是否大于记忆检测器阈值，若大于，则进化为记忆检测器，否则返回步骤S41。

为有效检测新的未知网络流量危险模式，需要持续更新检测器，一方面通过生成新的检测器加入到检测器集合中，另一方面更重要的是通过检测器的变异生成新的检测器，在网络异常识别中检测器的变异主要采用检测器的重组生成新的检测器，其重组方式为：在每个危险区域的检测器集合包含有多个检测器，每两个检测器集合中的检测器可以以任何方式进行重新组合生成新的检测器集合。如图4所示是检测器变异原理的一个实施例方式。

所述记忆检测器抗体浓度的更新是进行风险值评估的依据，其记忆检测器抗体浓度的更新方法包括：

步骤S41′，记忆检测器在抗体浓度保持周期内与网络危险数据流的危险模式进行匹配；

步骤S42′，判断匹配是否成功，若匹配成功，则该记忆检测器的抗体浓度增加，并同时配置该记忆检测器的存活时间为0，否则该记忆检测器的抗体浓度减少，同时该记忆检测器的存活时间加1。

步骤S5，根据记忆检测器抗体浓度确定网络异常流量风险值。所述网络异常流量风险值包括某一类网络异常流量风险值和计算机整体网络异常流量风险值。在确定网络异常流风险值以后，可以根据风险值采取响应的措施减少网络异常流带来的损失。可以采取的措施包括：如果网络异常流量是由于过量正常网络流量形成的网络异常流量，则可以采取限制网络访问带宽等措施；如果是由于大量DDOS攻击形成的网络异常流量刚应该采取直接切断网络连接等措施。

本发明的一种ISP异常流量检测系统，如5所示，所述ISP异常流量检测系统部署在ISP出口位置处，将ISP出口路由器的网络数据旁路到所述ISP异常流量检测系统，所述ISP异常流量检测系统包括：

网络数据包捕获模块：用于捕获网络数据包，并将捕获的网络数据包交由危险识别模块进行处理；

危险识别模块：将网络数据包捕获模块捕获的数据包进行数据流分析，判断网络数据流中是否存在危险，对存在危险的网络数据流交由危险区域识别模块处理；

危险区域识别模块：提取存在危险的网络数据流的目标IP地址，将这些IP地址标识为危险区域，并提取发送至标识为危险区域的危险网络数据的危险模式，将提取的危险模式交由网络异常流量模式识别模块进行处理；

网络异常流量模式识别模块：对危险模式进行匹配识别，如果匹配不成功则说明网络数据流中没有异常，否则产生告警并交由危险评估模块进行危险评估；

危险评估模块：对网络异常流量模式识别模块输出的告警进行风险评估。

更为具体的，所述ISP异常流量检测系统还包括免疫响应模块，所述免疫响应模块根据危险评估模块的评估结果，采取相应的措施减少网络异常流量带来影响。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种ISP异常流量检测方法，其特征在于，其检测方法包括：

步骤S1，捕获网络数据包；

步骤S2，对捕获的网络数据包进行危险网络数据流的识别，确定危险区域；

步骤S3，提取发送至危险区域的危险网络数据流的危险模式；

步骤S4，将危险网络数据流的危险模式与记忆检测器进行匹配，同时更新记忆检测器抗体浓度；

步骤S5，根据记忆检测器抗体浓度确定网络异常流量风险值；

所述对捕获的网络数据包进行危险网络数据流的识别方法包括：计算并确定某数据流净载荷的区间范围；计算t时刻该数据流净载荷字节数与其在[t-l,t]时间范围内数据流净载荷字节数的差值；判断该差值是否在该数据流净载荷的区间范围内，如果在，则该数据流不存在危险，否则该数据流存在危险；其具体步骤为：对捕获的网络数据流按目标IP地址进行分类，计算并确定t时刻流向每一个IP地址数据流中包含的以字节为单位的字节数

计算并确定[t-l,t]时刻每一个目标IP地址的

的平均值

判断该差值是否在该数据流净载荷的区间范围内，如果在，则该数据流不存在危险，否则该数据流存在危险；如果以λ_h和λ_l表示网络数据流净载荷的上界值和下界值，其中λ_h=c₁×ρ_sa，λ_l=c₂×ρ_sa，c₁为网络数据流净载荷异常数据流的上界容忍因子，c₂网络数据流净载荷异常数据流的下界容忍因子，c₃为异常数据流的容忍因子，ρ_sa为网络数据流净载荷标准差，如果

则该数据流不是危险数据流，否则为危险数据流。

2.一种ISP异常流量检测方法，其特征在于，其检测方法包括：

步骤S1，捕获网络数据包；

步骤S2，对捕获的网络数据包进行危险网络数据流的识别，确定危险区域；

步骤S3，提取发送至危险区域的危险网络数据流的危险模式；

步骤S4，将危险网络数据流的危险模式与记忆检测器进行匹配，同时更新记忆检测器抗体浓度；

步骤S5，根据记忆检测器抗体浓度确定网络异常流量风险值；

所述对捕获的网络数据包进行危险网络数据流的识别方法包括：计算并确定某数据流阈值；计算t时刻该数据流与其在[t-l,t]时间范围内数据流字节数的差值；判断该差值是否小于数据流阈值，如果是则该数据流存在危险，否则该数据流不存在危险；其具体步骤为：对捕获的网络数据流按目标IP地址进行分类，计算并确定应用层数据中t时刻流向每一个IP地址数据流净载荷中包括的以字节为单位的字节数

计算[t-l,t]时刻每一个目标IP地址的平均值

判断该差值是否小于数据流阈值，如果是则该数据流存在危险，否则该数据流不存在危险；如果以

为数据流阈值，其中

c₃为异常数据流的容忍因子，ρ_st网络数据流标准差，如果

则该数据流不是危险数据流，否则为危险数据流。

3.根据权利要求1或2所述的一种ISP异常流量检测方法，其特征在于，确定所述危险区域的方法：

步骤S21，从所有危险的数据流中提取出这些数据流的目标IP地址；

步骤S22，将这些IP地址区域标识为危险区域。

4.根据权利要求1或2所述的一种ISP异常流量检测方法，其特征在于，所述记忆检测器由检测器进化而来，其演化步骤包括：

步骤S41，检测器与危险网络数据流的危险模式进行匹配；

步骤S42，判断匹配是否成功，如果是则执行步骤S45，否则执行步骤：

步骤S43，检测器存活时间减少；

步骤S44，判断检测器存活时间是否为零，若为零，则删除该检测器，否则返回步骤S41；

步骤S45，检测器存激活度增加；

步骤S46，判断检测器激活度是否大于记忆检测器阈值，若大于，则进化为记忆检测器，否则返回步骤S41。

5.根据权利要求1或2所述的一种ISP异常流量检测方法，其特征在于，所述记忆检测器抗体浓度的更新方法包括：

步骤S41′，记忆检测器在抗体浓度保持周期内与网络危险数据流的危险模式进行匹配；

步骤S42′，判断匹配是否成功，若匹配成功，则该记忆检测器的抗体浓度增加，并同时配置该记忆检测器的存活时间为0，否则该记忆检测器的抗体浓度减少，同时该记忆检测器的存活时间加1。

6.根据权利要求1或2所述的一种ISP异常流量检测方法，其特征在于，所述网络异常流量风险值包括某一类网络异常流量风险值和计算机整体网络异常流量风险值。

Images