CN102130800B - 基于数据流行为分析的网络访问异常检测装置及方法 - Google Patents

基于数据流行为分析的网络访问异常检测装置及方法 Download PDF

Info

Publication number
CN102130800B
CN102130800B CN201110083016XA CN201110083016A CN102130800B CN 102130800 B CN102130800 B CN 102130800B CN 201110083016X A CN201110083016X A CN 201110083016XA CN 201110083016 A CN201110083016 A CN 201110083016A CN 102130800 B CN102130800 B CN 102130800B
Authority
CN
China
Prior art keywords
data
flow
abnormal
flows
netwoks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110083016XA
Other languages
English (en)
Other versions
CN102130800A (zh
Inventor
逯利军
钱培专
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CERTUSNET CORP.
Original Assignee
SUZHOU SAITESI NETWORK TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU SAITESI NETWORK TECHNOLOGY CO LTD filed Critical SUZHOU SAITESI NETWORK TECHNOLOGY CO LTD
Priority to CN201110083016XA priority Critical patent/CN102130800B/zh
Publication of CN102130800A publication Critical patent/CN102130800A/zh
Application granted granted Critical
Publication of CN102130800B publication Critical patent/CN102130800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明涉及一种基于数据流行为分析的网络访问异常检测装置，其包括流量信息收集模块、异常行为检测模块和异常流量处理模块，流量信息收集模块的分别连接异常行为检测模块和异常流量处理模块，异常行为检测模块连接异常流量处理模块。本发明还涉及一种利用该装置的方法，该方法先过滤掉明显异常的流量数据，再利用一网络行为模型对经过滤的流量数据进行检测，并自动更新网络行为模型；最后根据检测结果阻断流量。利用本发明的装置和方法能建立正常网络行为模型，将该模型跟实时数据进行比较，以检测实时流量是否异常；并动态修正网络行为模型，分析异常流量来源，对异常流量进行阻断，从而快速有效地识别异常流量，提高检测的准确性。

Description

基于数据流行为分析的网络访问异常检测装置及方法
技术领域
本发明涉及网络技术领域，特别涉及网络访问异常检测装置及方法领域，具体是指一种基于数据流行为分析的网络访问异常检测装置及方法。
背景技术
目前，现有的网络流流量分析技术分为以下几类：
1、通过对网络流量的总计，并设置阀值来判断网络流量是否有异常。例如，通过网络设备上的SNMP接口，定期获取相关网口的数据流量，例如，单播包总包数，单播包总字节数等等，并通过预设的阀值进行比较，判断是否异常。
2、通过对单个或数个连续的数据包进行分析，判断数据包是否属于异常流量。例如，通过对数据包的协议、端口以及大小来进行判断。例如，SQL Slammer蠕虫是通过UDP 1434端口发送大小为376字节的数据包进行扫描来加以判断。
3、基于对历史流量的分析，统计网络流量的行为并进行预测，将一种数据流量分析的方法应用到各类网络设备中，该方法分析一段时期内历史数据流量，通过计算机算法挖掘出流量的变化规律，同时对下一周期内流量的情况进行预测，一旦实际测量值与预测值产生较大的差异，则认为产生了异常的访问流量。
上述各种现有方法的缺点在于：方法1只能对总流量的大小进行简单识别，无法区分这些流量中那部分是正常流量，哪部分是异常流量。方法2虽然可以识别出具体的异常流量数据包，但是由于是通过预设的数据包特征模式，无法识别出新的变异后的异常流量。方法3考虑到了流量的历史访问规律，能检测出严重违背历史经验的流量访问突变，因此并不需要知道所有可能导致流量异常的数据包的特征模式。但是，目前大部分属于方法3的数据流行为检测技术，仅仅考虑了对数据流行为的统计，并未考虑一旦检测到有异常数据流之后，如何进一步的阻止相关的异常流量。同时，由于属于方法3的这些技术是针对于历史数据流的变化规律进行统计，但未考虑到攻击方可能会采用一个缓慢的不断增加异常流量的过程，即在这样的情况中，缓慢增加的攻击流量，会导致算法不断的修正对历史流量规律的统计，从而不断增加系统预测流量的大小，从而当异常流量达到显著数量的情况下，系统仍然无法进行检测。所以，现有的方法都存在不同的缺陷，难以应用在大规模数据流量的网络访问异常检测之中。
发明内容
本发明的目的是克服了上述现有技术中的缺点，提供一种能在大规模数据流量分析的应用环境中快速高效地总结流量行为，识别异常流量，并有效避免无法检测出缓慢异常流量增加的情况，从而提高检测准确性，且应用方式较为简单，应用成本低廉，且适用范围广泛的基于数据流行为分析的网络访问异常检测装置及方法。
为了实现上述的目的，本发明的基于数据流行为分析的网络访问异常检测装置具有如下构成：
该装置包括流量信息收集模块、异常行为检测模块和异常流量处理模块，所述的流量信息收集模块的输入端连接该检测装置外部的路由设备，所述的流量信息收集模块的输出端分别连接所述的异常行为检测模块和异常流量处理模块的输入端，所述的异常行为检测模块的输出端连接所述的异常流量处理模块的输入端，所述的异常流量处理模块的输出端连接该检测装置外部的路由设备。
本发明所提供的利用所述的装置实现基于数据流行为分析的网络访问异常检测方法，其包括以下步骤：
(1)所述的流量信息收集模块从外部路由设备获得原始流量数据；
(2)所述的流量信息收集模块对原始流量数据进行过滤，将明显异常的流量数据发送至所述的异常流量处理模块，并将经过滤的流量数据发送至所述的异常行为检测模块；
(3)所述的异常行为检测模块根据一确定的检测标准对所述的经过滤的流量数据进行检测，并将检测出的异常流量数据发送至所述的异常流量处理模块；
(4)所述的异常行为检测模块根据检测结果自动更新所述的检测标准；
(5)所述的异常流量处理模块根据所获得的异常流量的流量信息向外部路由设备发送流量阻断指令。
该基于数据流行为分析的网络访问异常检测方法中，所述的原始流量数据为netflow v5格式数据或sFlow格式数据。
该基于数据流行为分析的网络访问异常检测方法中，所述的步骤(2)具体包括以下步骤：
(21)所述的流量信息收集模块对原始流量数据进行解析，获得流量数据信息；
(22)所述的流量信息收集模块将明显异常的原始流量数据的流量数据信息存入一异常流量数据库；
(23)所述的流量信息收集模块将其余的流量数据存入一待检测流量数据库。
该基于数据流行为分析的网络访问异常检测方法中，所述的流量数据信息包括源IP地址、源端口、目的IP地址、目的端口、协议类型、端口号、字节数、数据包数及数据流产生时间。
该基于数据流行为分析的网络访问异常检测方法中，所述的步骤(3)具体包括以下步骤：
(31)所述的异常行为检测模块读取所述的待检测流量数据库中的流量数据；
(32)所述的异常行为检测模块基于前一周期内一确定时间段的数据流量值生成本周期内对应时间段的流量数据的预测值；
(33)所述的异常行为检测模块将本周期该时间段的预测值与本周期内该时间段的流量数据实际值比较，判断两者差距是否大于预设的阈值，若大于，则确定该流量数据为异常流量数据，并进入步骤(34)，若不大于，则进入步骤(4)；
(34)所述的异常行为检测模块将该异常流量数据的信息存入所述的异常流量数据库，并进入步骤(5)。
该基于数据流行为分析的网络访问异常检测方法中，所述的步骤(32)具体是指：
设第m个周期的第i个时间段内的实际数据流量值为T(i，m)，则根据以下公式得到在第m+1个周期内对应的第i个时间段内的预测数据流量值P(i，m+1)：
P(i，m+1)＝a(i，m)+b(i，m)，
其中：
a(i，m)＝2S′(i，m)-S″(i，m)，
b ( i , m ) = α 1 - α ( S ( i , m ) ′ - S ( i , m ) ′ ′ ) ,
S′(i，m)与S″(i，m)分别为在第m个周期中第i个时间段的预测参数：
S′(i，m)＝αT(i，m)+(1-α)S′(i，m-1)，
S″(i，m)＝αS′(i，m)+(1-α)S″(i，m-1)，
α为预设的预测敏感系数。
该基于数据流行为分析的网络访问异常检测方法中，在第1个周期中第i个时间段的预测参数S′(i，0)与S″(i，0)分别为：S′(i，0)＝S″(i，0)＝T(i，1)。
该基于数据流行为分析的网络访问异常检测方法中，步骤(33)具体包括以下步骤：
(33-1)所述的异常行为检测模块判断|T(i，m)-P(i，m)|是否大于预设的阈值；
(33-2)若大于，则确定第m个周期的第i个时间段的流量数据为异常流量数据，并进入步骤(34)；
(33-3)若不大于，则进入步骤(4)。
该基于数据流行为分析的网络访问异常检测方法中，步骤(34)具体包括以下步骤：
(34-1)所述的异常行为检测模块依确定的选取规则采集所述的第m个周期的第i个时间段的流量数据的流量数据信息；
(34-2)所述的异常行为检测模块并将所采集的流量数据信息存入所述的异常流量数据库，并进入步骤(5)。
该基于数据流行为分析的网络访问异常检测方法中，所述的选取规则具体为以下之一：
(1)采集该时间段内流量数据字节或数据包较大的数据流的流量数据信息；
(2)采集非关键端口产生的数据流的流量数据信息；
(3)综合采集非关键端口产生的数据字节或数据包较大的数据流的流量数据信息。
该基于数据流行为分析的网络访问异常检测方法中，所述的步骤(4)具体是指：
所述的异常行为检测模块将第m+1个周期的第i个时间段的流量数据预测值P(i，m+1)设置为：
P(i，m+1)＝T(i，m)。
该基于数据流行为分析的网络访问异常检测方法中，所述的步骤(5)具体包括以下步骤：
(51)所述的异常流量处理模块读取所述的异常流量数据库中的流量数据信息；
(52)所述的异常流量处理模块统计所述的流量数据信息中的外部IP地址、协议类型及端口号；
(53)所述的异常流量处理模块向外部路由设备发送针对所述的外部IP地址的流量阻断指令。
采用了该发明的基于数据流行为分析的网络访问异常检测装置及方法，其装置包括流量信息收集模块、异常行为检测模块和异常流量处理模块，所述的流量信息收集模块的输入端连接该检测装置外部的路由设备，所述的流量信息收集模块的输出端分别连接所述的异常行为检测模块和异常流量处理模块的输入端，所述的异常行为检测模块的输出端连接所述的异常流量处理模块的输入端，所述的异常流量处理模块的输出端连接该检测装置外部的路由设备，该方法在流量信息收集模块从外部路由设备获得原始流量数据后；先进行过滤，将明显异常的流量数据发送至所述的异常流量处理模块，并将经过滤的流量数据发送至所述的异常行为检测模块；异常行为检测模块根据一确定的检测标准对所述的经过滤的流量数据进行检测，并将检测出的异常流量数据发送至所述的异常流量处理模块，而后，异常行为检测模块根据检测结果自动更新所述的检测标准；最后异常流量处理模块根据所获得的异常流量的流量信息向外部路由设备发送流量阻断指令。从而能利用本发明的装置和方法过滤掉可能的攻击所产生的异常数据，建立运营商或是服务器的正常网络行为模型；进而可以把这个模型跟实时数据进行比较，以检测实时网络流量的行为是否为异常；如行为正常，则通过收集这部分的实时数据以动态修正网络行为模型，实现自动学习的功能，如行为异常，则从数据流中分析出异常流量的来源，首先保障用户的应用服务，然后再根据用户设置的策略，对异常流量进行阻断。从而真正实现了在大规模数据流量分析的实际应用环境中，快速有效的总结流量行为，识别异常流量，并且避免无法检测出缓慢异常流量增加的情况，提高检测的准确性。本发明的基于数据流行为分析的网络访问异常检测装置及方法应用方式较为简单，应用成本低廉，且适用范围广泛。
附图说明
图1为本发明的基于数据流行为分析的网络访问异常检测装置的结构示意图。
图2为本发明的基于数据流行为分析的网络访问异常检测方法的步骤流程图。
图3为本发明的基于数据流行为分析的网络访问异常检测装置中的异常行为检测模块进行数据流异常探测的流程图。
图4为本发明的基于数据流行为分析的网络访问异常检测装置中异常行为检测模块进行实际数据流量值和预测数据流量值比较的流程图。
具体实施方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。
请参阅图1所示，为本发明的基于数据流行为分析的网络访问异常检测装置的结构示意图。
在具体实施方式中，该装置包括流量信息收集模块、异常行为检测模块和异常流量处理模块，所述的流量信息收集模块的输入端连接该检测装置外部的路由设备，所述的流量信息收集模块的输出端分别连接所述的异常行为检测模块和异常流量处理模块的输入端，所述的异常行为检测模块的输出端连接所述的异常流量处理模块的输入端，所述的异常流量处理模块的输出端连接该检测装置外部的路由设备。
本发明还提供了一种利用所述的装置实现基于数据流行为分析的网络访问异常检测方法。该方法的一种实施方式，如图2所示，其包括以下步骤：
(1)所述的流量信息收集模块从外部路由设备获得原始流量数据；
(2)所述的流量信息收集模块对原始流量数据进行过滤，将明显异常的流量数据发送至所述的异常流量处理模块，并将经过滤的流量数据发送至所述的异常行为检测模块；
(3)所述的异常行为检测模块根据一确定的检测标准对所述的经过滤的流量数据进行检测，并将检测出的异常流量数据发送至所述的异常流量处理模块；
(4)所述的异常行为检测模块根据检测结果自动更新所述的检测标准；
(5)所述的异常流量处理模块根据所获得的异常流量的流量信息向外部路由设备发送流量阻断指令。
其中，所述的原始流量数据为netflow v5格式数据或sFlow格式数据。
在一种优选的实施方式中，该方法的步骤(2)具体包括以下步骤：
(21)所述的流量信息收集模块对原始流量数据进行解析，获得流量数据信息；
(22)所述的流量信息收集模块将明显异常的原始流量数据的流量数据信息存入一异常流量数据库；
(23)所述的流量信息收集模块将其余的流量数据存入一待检测流量数据库。
其中，所述的流量数据信息包括源IP地址、源端口、目的IP地址、目的端口、协议类型、端口号、字节数、数据包数及数据流产生时间。
该方法的步骤(3)具体包括以下步骤：
(31)所述的异常行为检测模块读取所述的待检测流量数据库中的流量数据；
(32)所述的异常行为检测模块基于前一周期内一确定时间段的数据流量值生成本周期内对应时间段的流量数据的预测值；
(33)所述的异常行为检测模块将本周期该时间段的预测值与本周期内该时间段的流量数据实际值比较，判断两者差距是否大于预设的阈值，若大于，则确定该流量数据为异常流量数据，并进入步骤(34)，若不大于，则进入步骤(4)；
(34)所述的异常行为检测模块将该异常流量数据的信息存入所述的异常流量数据库，并进入步骤(5)。
其中，步骤(32)具体是指：设第m个周期的第i个时间段内的实际数据流量值为T(i，m)，则根据以下公式得到在第m+1个周期内对应的第i个时间段内的预测数据流量值P(i，m+1)：
P(i，m+1)＝a(i，m)+b(i，m)，
其中：
a(i，m)＝2S′(i，m)-S″(i，m)，
b ( i , m ) = α 1 - α ( S ( i , m ) ′ - S ( i , m ) ′ ′ ) ,
S′(i，m)与S″(i，m)分别为在第m个周期中第i个时间段的预测参数：
S′(i，m)＝αT(i，m)+(1-α)S′(i，m-1)，
S″(i，m)＝αS′(i，m)+(1-α)S″(i，m-1)，
α为预设的预测敏感系数。
该方法的步骤(4)具体是指：所述的异常行为检测模块将第m+1个周期的第i个时间段的流量数据预测值P(i，m+1)设置为：
P(i，m+1)＝T(i，m)。
该方法的步骤(5)具体包括以下步骤：
(51)所述的异常流量处理模块读取所述的异常流量数据库中的流量数据信息；
(52)所述的异常流量处理模块统计所述的流量数据信息中的外部IP地址、协议类型及端口号；
(53)所述的异常流量处理模块向外部路由设备发送针对所述的外部IP地址的流量阻断指令。
在进一步优选的实施方式中，所述的步骤(33)具体包括以下步骤：
(33-1)所述的异常行为检测模块判断|T(i，m)-P(i，m)|是否大于预设的阈值；
(33-2)若大于，则确定第m个周期的第i个时间段的流量数据为异常流量数据，并进入步骤(34)；
(33-3)若不大于，则进入步骤(4)。
所述的步骤(34)具体包括以下步骤：
(34-1)所述的异常行为检测模块依确定的选取规则采集所述的第m个周期的第i个时间段的流量数据的流量数据信息；
(34-2)所述的异常行为检测模块并将所采集的流量数据信息存入所述的异常流量数据库，并进入步骤(5)。
在一种更为优选的实施方式中，在第1个周期中第i个时间段的预测参数S′(i，0)与S″(i，0)分别为：S′(i，0)＝S″(i，0)＝T(i，1)。
在另一种进一步优选的实施方式中，所述的选取规则具体为以下之一：
(1)采集该时间段内流量数据字节或数据包较大的数据流的流量数据信息；
(2)采集非关键端口产生的数据流的流量数据信息；
(3)综合采集非关键端口产生的数据字节或数据包较大的数据流的流量数据信息。
在本发明的应用中，本发明的基于数据流行为分析的网络访问异常检测装置主要包括三个主要的部分：流量信息收集模块(DCC)，异常行为检测模块(DEC)，异常流量处理模块(APC)，其结构如图1所示。
在该装置中，DCC提供从路由器上收集流量数据，流量数据可以使用多种表示形式，包括但不限于CISCO的netflow v5格式，其具体格式如下(参见CISCO公布的相关格式文档：http://www.cisco.com/en/US/docs/net_mgmt/netfiow_collection_engine/3.6/user/guide/format.html)：
1)NetFlow V5的数据头格式：
2)NetFlow V5的流量数据格式：
  字节序   内容   描述
  0-3   srcaddr   源IP地址
  4-7   dstaddr   目标IP地址
  8-11   nexthop   下一跳跃路由器的IP地址
  12-13   input   输入端的SNMP索引
  14-15   output   输出端的SNMP索引
  16-19   dPkts   流内数据包
  20-23   dOctets   总层数，流内数据包内的3个字节
  24-27   First   流开始的SysUptime
  28-31   Last   收到流内最后数据包的SysUptime
  32-33   srcport   TCP/UDP源地址端口号或等效值
  34-35   dstport   TCP/UDP目标地址端口号或等效值
  36   padl   未使用(zero)字节
  37   tcp_flags   TCP标志累计
  38   prot   IP协议类型(例如，TCP＝6；UDP＝17)
  39   tos   IP服务类型(ToS)
  40-41   src_as   源地址的自动系统编号，非原级即同级
  42-43   dst_as   目标地址的自动系统编号，非原级即同级
  44   src_mask   源地址前置掩码字节
  45   dst_mask   目标地址前置掩码字节
  46-47   pad2   未使用(zero)字节
DCC接收的流量数据也可以为sFlow格式的数据或其它格式的数据，sFlow的具体格式如下(参见http://www.ietf.org/rfc/rfc3176.txt)：
  int_32 sFlow版本号(2|4|5)
  int_32 IP版本(1为IPV4，2为IPV6)
  sFlow代理IP地址(IPV4占用4字节，IPV6占用16字节)
  int_32代理子id
  int_32数据包序列号
  int_32交换机运行时间
  int_32数据采样包的个数
  数据采样包的信息序列(可能会占用多个字节)
DCC的功能是将以这些格式表示的数据流信息进行解析，从而得到实际的数据流信息。数据流的信息至少包括数据流的源地址，目的地址，源端口，目的端口，协议，字节数，包数，数据流产生的时间，以及一些必要的标志位。在还原为数据流信息后，DCC会根据事先定义的异常流量的特征模式进行检测，去掉明显属于异常流量的数据流信息，而将通过检测的流量存入到数据库中，作为下一步的流量行为分析与异常检测的输入数据。DCC在发现具有明显特征的异常流量情况下，会将这些异常流量的相关信息保存到数据库中，为后续阻止异常流量提供依据，这些信息通常包括源IP地址，源端口，目的IP地址，目的端口，协议，端口号，字节数，包数，数据流产生的时间等。
DEC的功能是对原始流信息进行异常检测。在流量异常的检测中，DEC需要根据预先设定的周期，以及间隔的时长进行学习。通常，用户的流量行为具有一定的周期性。例如，以一个礼拜为周期，通常在工作日(星期一到星期五)的流量相对较多，而周末(周六到周日)的流量相对较少，到下个礼拜流量行为开始进行有规律的循环。在一个周期内，我们需要设定一个学习的时间间隔，时间间隔作为流量行为学习的最细颗粒度，DEC会将时间间隔中的流量进行统计，以便与下个周期中的相同时间间隔内的流量进行比较。例如，我们设置7天为一个周期而每天作为一个时间间隔，那么在DEC系统中，就会对每个礼拜一的数据流量进行比较与学习。
设一个周期内共有多个时间间隔，且当前处于第m个周期的第i个时间段内，则在这个时间段结束时，DEC会根据前一个(第m-1个)周期内的第i时间段内的所有流量的学习值做出预测，产生预测值P(i，m)，同时DEC会从实时的流量信息中统计出真实的流量值T(i，m)，DEC系统将P(i，m)与T(i，m)进行比较，一旦两者的差值达超过了预设的阀值，则判断出有异常流量的产生。DEC所实现的功能的流程图如图3与图4所示，其具体算法如下：
P(i，m+1)＝a(i，m)+b(i，m)
a(i，m)＝2S′(i，m)-S″(i，m)
b ( i , m ) = α 1 - α ( S ( i , m ) ′ - S ( i , m ) ′ ′ )
S″(i，m)＝αS′(i，m)+(1-α)S″(i，m-1)
S′(i，m)＝αT(i，m)+(1-α)S′(i，m-1)
其中：P(i，m+1)为根据以往第m个周期中第i个时间段数据流量的学习结果预测出的第m+1个周期中第i个时间段的数据流量；
T(i，m)为第m个周期时，第i个时间段实际测量的数据流量值；
S′(i，m)与S″(i，m)为在第m个周期中第i个时间段的预测参数，根据上个周期计算出的预测参数以及上个周期的实际测量值计算得到。并且，在系统初始运行时，S′(i，0)＝S″(i，0)＝T(i，1)；当系统检测出某个周期存在异常流量时，S′(i，m)＝S′(i，m-1)，S″(i，m)＝S″(i，m-1)；
α为预测系统的敏感系数，当α越大时，系统更加依赖于上一周期的数据，当α越小时，系统更加依赖于之前第m个周期的历史数据。
一旦判断出有异常流量产生，DEC会将这个时间段内的真实流量按照一定的策略收集其中的部分数据流信息，存入到异常流量数据。策略可以采用：1、将这个时间段内的流量按照数据字节或者数据包的大小进行排序，并选取排名靠前的数据流；2、将这个时间段内的流量按照端口进行分类，选取对服务器而言非关键端口产生的流量数据；3、将策略1与策略2进行组合使用。
APC根据从异常流量数据表中获得异常流量信息，统计出导致异常流量的外部IP地址，协议，端口等信息，通过访问控制列表(ACL)策略、防火墙(Firewall)策略或者专业的防火墙设备配置防御性策略，禁止这些外部IP地址的访问，从而达到保护本地服务器正常运行的目的。在进行异常流量控制时，APC会根据当前首先要保护的服务，进行优先放行：APC会根据网络中运行的网络服务的优先级进行排序，然后根据优先级由低到高依次进行策略配置，直到在某个时间段内DEC认为当前流量恢复异常。同时，在运行一段时间后，APC也会尝试减少一些防御性的策略配置，一旦减少的配置导致了DEC在连续的多个时间段内仍然检测出异常流量，则恢复此防御性的策略配置，否则不进行恢复。这样可以保证网络中实用的防御性策略最少，从而提高相关网络设备的可维护性。
采用了该发明的基于数据流行为分析的网络访问异常检测装置及方法，其装置包括流量信息收集模块、异常行为检测模块和异常流量处理模块，所述的流量信息收集模块的输入端连接该检测装置外部的路由设备，所述的流量信息收集模块的输出端分别连接所述的异常行为检测模块和异常流量处理模块的输入端，所述的异常行为检测模块的输出端连接所述的异常流量处理模块的输入端，所述的异常流量处理模块的输出端连接该检测装置外部的路由设备，该方法在流量信息收集模块从外部路由设备获得原始流量数据后；先进行过滤，将明显异常的流量数据发送至所述的异常流量处理模块，并将经过滤的流量数据发送至所述的异常行为检测模块；异常行为检测模块根据一确定的检测标准对所述的经过滤的流量数据进行检测，并将检测出的异常流量数据发送至所述的异常流量处理模块，而后，异常行为检测模块根据检测结果自动更新所述的检测标准；最后异常流量处理模块根据所获得的异常流量的流量信息向外部路由设备发送流量阻断指令。从而能利用本发明的装置和方法过滤掉可能的攻击所产生的异常数据，建立运营商或是服务器的正常网络行为模型；进而可以把这个模型跟实时数据进行比较，以检测实时网络流量的行为是否为异常；如行为正常，则通过收集这部分的实时数据以动态修正网络行为模型，实现自动学习的功能，如行为异常，则从数据流中分析出异常流量的来源，首先保障用户的应用服务，然后再根据用户设置的策略，对异常流量进行阻断。从而真正实现了在大规模数据流量分析的实际应用环境中，快速有效的总结流量行为，识别异常流量，并且避免无法检测出缓慢异常流量增加的情况，提高检测的准确性。本发明的基于数据流行为分析的网络访问异常检测装置及方法应用方式较为简单，应用成本低廉，且适用范围广泛。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (10)

1.一种利用基于数据流行为分析的网络访问异常检测装置实现基于数据流行为分析的网络访问异常检测方法，所述的装置包括流量信息收集模块、异常行为检测模块和异常流量处理模块，所述的流量信息收集模块的输入端连接该检测装置外部的路由设备，所述的流量信息收集模块的输出端分别连接所述的异常行为检测模块和异常流量处理模块的输入端，所述的异常行为检测模块的输出端连接所述的异常流量处理模块的输入端，所述的异常流量处理模块的输出端连接该检测装置外部的路由设备，其特征在于，所述的方法包括以下步骤：
（1）所述的流量信息收集模块从外部路由设备获得原始流量数据；
（2）所述的流量信息收集模块对原始流量数据进行过滤，将明显异常的流量数据发送至所述的异常流量处理模块，并将经过滤的流量数据发送至所述的异常行为检测模块，具体包括以下步骤：
（21）所述的流量信息收集模块对原始流量数据进行解析，获得流量数据信息；
（22）所述的流量信息收集模块将明显异常的原始流量数据的流量数据信息存入一异常流量数据库；
（23）所述的流量信息收集模块将其余的流量数据存入一待检测流量数据库；
（3）所述的异常行为检测模块根据一确定的检测标准对所述的经过滤的流量数据进行检测，并将检测出的异常流量数据发送至所述的异常流量处理模块，具体包括以下步骤：
（31）所述的异常行为检测模块读取所述的待检测流量数据库中的流量数据；
（32）所述的异常行为检测模块基于前一周期内一确定时间段的数据流量值生成本周期内对应时间段的流量数据的预测值；
（33）所述的异常行为检测模块将本周期该时间段的预测值与本周期内该时间段的流量数据实际值比较，判断两者差距是否大于预设的阈值，若大于，则确定该流量数据为异常流量数据，并进入步骤（34），若不大于，则进入步骤（4）；
（34）所述的异常行为检测模块将该异常流量数据的信息存入所述的异常流量数据库，并进入步骤（5）；
（4）所述的异常行为检测模块根据检测结果自动更新所述的检测标准；
（5）所述的异常流量处理模块根据所获得的异常流量的流量信息向外部路由设备发送流量阻断指令。
2.根据权利要求1所述的利用基于数据流行为分析的网络访问异常检测装置实现基于数据流行为分析的网络访问异常检测方法，其特征在于，所述的原始流量数据为netflow v5格式数据或sFlow格式数据。
3.根据权利要求1所述的利用基于数据流行为分析的网络访问异常检测装置实现基于数据流行为分析的网络访问异常检测方法，其特征在于，所述的流量数据信息包括源IP地址、源端口、目的IP地址、目的端口、协议类型、端口号、字节数、数据包数及数据流产生时间。
4.根据权利要求1所述的利用基于数据流行为分析的网络访问异常检测装置实现基于数据流行为分析的网络访问异常检测方法，其特征在于，所述的步骤（32）具体是指：
设第m个周期的第i个时间段内的实际数据流量值为T(i,m)，则根据以下公式得到在第m+1个周期内对应的第i个时间段内的预测数据流量值P(i,m+1)：
P(i,m+1)=a(i,m)+b(i,m)，
其中：
a(i,m)=2S'(i,m)-S''(i,m)，
b ( i , m ) = α 1 - α ( S ( i , m ) ′ - S ( i , m ) ′ ′ ) ,
S'(i,m)与S''(i,m)分别为在第m个周期中第i个时间段的预测参数：
S'(i,m)=αT(i,m)+(1-α)S'(i,m-1)，
S''(i,m)=αS'(i,m)+(1-α)S''(i,m-1)，
α为预设的预测敏感系数。
5.根据权利要求4所述的利用基于数据流行为分析的网络访问异常检测装置实现基于数据流行为分析的网络访问异常检测方法，其特征在于，在第1个周期中第i个时间段的预测参数S'(i,0)与S''(i,0)分别为：S'(i,0)=S''(i,0)=T(i,1)。
6.根据权利要求4所述的利用基于数据流行为分析的网络访问异常检测装置实现基于数据流行为分析的网络访问异常检测方法，其特征在于，步骤（33）具体包括以下步骤：
（33-1）所述的异常行为检测模块判断|T(i,m)-P(i,m)|是否大于预设的阈值；
（33-2）若大于，则确定第m个周期的第i个时间段的流量数据为异常流量数据，并进入步骤（34）；
（33-3）若不大于，则进入步骤（4）。
7.根据权利要求6所述的利用基于数据流行为分析的网络访问异常检测装置实现基于数据流行为分析的网络访问异常检测方法，其特征在于，步骤（34）具体包括以下步骤：
（34-1）所述的异常行为检测模块依确定的选取规则采集所述的第m个周期的第i个时间段的流量数据的流量数据信息；
（34-2）所述的异常行为检测模块并将所采集的流量数据信息存入所述的异常流量数据库，并进入步骤（5）。
8.根据权利要求7所述的利用基于数据流行为分析的网络访问异常检测装置实现基于数据流行为分析的网络访问异常检测方法，其特征在于，所述的选取规则具体为以下之一：
（1）采集该时间段内流量数据字节或数据包较大的数据流的流量数据信息；
（2）采集非关键端口产生的数据流的流量数据信息；
（3）综合采集非关键端口产生的数据字节或数据包较大的数据流的流量数据信息。
9.根据权利要求4所述的利用基于数据流行为分析的网络访问异常检测装置实现基于数据流行为分析的网络访问异常检测方法，其特征在于，所述的步骤（4）具体是指：
所述的异常行为检测模块将第m+1个周期的第i个时间段的流量数据预测值P(i,m+1)设置为：
P(i,m+1)=T(i,m)。
10.根据权利要求1至9中任一项所述的利用基于数据流行为分析的网络访问异常检测装置实现基于数据流行为分析的网络访问异常检测方法，其特征在于，所述的步骤（5）具体包括以下步骤：
（51）所述的异常流量处理模块读取所述的异常流量数据库中的流量数据信息；
（52）所述的异常流量处理模块统计所述的流量数据信息中的外部IP地址、协议类型及端口号；
（53）所述的异常流量处理模块向外部路由设备发送针对所述的外部IP地址的流量阻断指令。
CN201110083016XA 2011-04-01 2011-04-01 基于数据流行为分析的网络访问异常检测装置及方法 Active CN102130800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110083016XA CN102130800B (zh) 2011-04-01 2011-04-01 基于数据流行为分析的网络访问异常检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110083016XA CN102130800B (zh) 2011-04-01 2011-04-01 基于数据流行为分析的网络访问异常检测装置及方法

Publications (2)

Publication Number Publication Date
CN102130800A CN102130800A (zh) 2011-07-20
CN102130800B true CN102130800B (zh) 2013-08-28

Family

ID=44268697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110083016XA Active CN102130800B (zh) 2011-04-01 2011-04-01 基于数据流行为分析的网络访问异常检测装置及方法

Country Status (1)

Country Link
CN (1) CN102130800B (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102315991A (zh) * 2011-10-14 2012-01-11 海南大学 一种基于互联网数据采集的方法
CN103067192B (zh) * 2011-10-20 2016-03-16 北京天行网安信息技术有限责任公司 一种网络流量的分析系统及方法
CN102694817B (zh) * 2012-06-08 2016-08-03 北京奇虎科技有限公司 一种识别程序的网络行为是否异常的方法、装置及系统
CN103457949B (zh) * 2013-08-29 2016-09-14 哈尔滨工程大学 一种基于sFlow的大规模网络安全分析方法
CN103595594B (zh) * 2013-12-02 2017-04-26 中国联合网络通信集团有限公司 一种流量检测方法和电子设备
CN104753733B (zh) * 2013-12-31 2019-08-13 南京中兴软件有限责任公司 网络流量异常数据的检测方法及装置
US9923794B2 (en) 2014-04-28 2018-03-20 Huawei Technologies Co., Ltd. Method, apparatus, and system for identifying abnormal IP data stream
CN105099732B (zh) * 2014-04-28 2018-11-20 华为技术有限公司 一种识别异常ip数据流的方法、装置和系统
CN106156026B (zh) * 2015-03-24 2020-02-18 中国人民解放军国防科学技术大学 一种基于数据流虚拟资产在线异常发现的方法
CN104994076A (zh) * 2015-06-01 2015-10-21 广东电网有限责任公司信息中心 一种基于机器学习的日常访问模型实现方法及系统
CN105187451B (zh) * 2015-10-09 2018-10-09 携程计算机技术（上海）有限公司 网站流量异常检测方法及系统
CN108028807B (zh) * 2015-10-09 2021-03-05 华为技术有限公司 用于在线自动识别网络流量模型的方法和系统
CN106612216B (zh) * 2015-10-27 2020-02-07 北京国双科技有限公司 网站访问异常的检测方法及装置
NL2015680B1 (en) * 2015-10-29 2017-05-31 Opt/Net Consulting B V Anomaly detection in a data stream.
CN106815255A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 检测数据访问异常的方法及装置
CN107342906B (zh) * 2016-04-29 2020-04-21 华为技术有限公司 一种大象流的检测方法、设备及系统
CN105959289A (zh) * 2016-06-06 2016-09-21 中国东方电气集团有限公司 一种基于自学习的OPC Classic协议的安全检测方法
CN107566320B (zh) * 2016-06-30 2020-05-26 中国电信股份有限公司 一种网络劫持检测方法、装置与网络系统
CN106789912B (zh) * 2016-11-22 2020-02-21 清华大学 基于分类回归决策树的路由器数据平面异常行为检测方法
CN108347355B (zh) * 2017-01-22 2022-03-11 腾讯科技（深圳）有限公司 一种应用状态的检测方法及其设备
CN109147083B (zh) * 2017-06-28 2021-08-06 北京嘀嘀无限科技发展有限公司 异常恢复方法及装置
CN107465690B (zh) * 2017-09-12 2019-09-06 国网湖南省电力公司 一种基于流量分析的被动式异常端口实时检测方法及系统
CN107809331B (zh) * 2017-10-25 2020-11-24 北京京东尚科信息技术有限公司 识别异常流量的方法和装置
CN107948587B (zh) * 2017-11-15 2019-12-27 中国联合网络通信集团有限公司 监控设备的风险评估方法、装置及系统
CN109873790A (zh) * 2017-12-04 2019-06-11 中国电信股份有限公司 网络安全检测方法、装置以及计算机可读存储介质
CN108199979A (zh) * 2017-12-11 2018-06-22 银联商务股份有限公司 流量处理方法及装置
CN109962903B (zh) * 2017-12-26 2022-01-28 中移（杭州）信息技术有限公司 一种家庭网关安全监控方法、装置、系统和介质
CN108322332A (zh) * 2017-12-28 2018-07-24 贵阳忆联网络有限公司 一种数据灾难响应系统及方法
CN108182495A (zh) * 2017-12-29 2018-06-19 青岛图环视信息技术有限公司 餐饮单位的垃圾产生量异常检测方法和系统
DE102018201718A1 (de) * 2018-02-05 2019-08-08 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Anomalie in einem Datenstrom in einem Kommunikationsnetzwerk
CN108806222B (zh) * 2018-03-09 2021-09-21 上海蜀瑞电子科技有限公司 智能门锁网络连接方法及智能门锁
US20210264026A1 (en) * 2018-06-13 2021-08-26 Panasonic Intellectual Property Management Co., Ltd. Unauthorized communication detection device, unauthorized communication detection method and manufacturing system
CN109194539B (zh) * 2018-08-13 2022-01-28 中国平安人寿保险股份有限公司 数据管控方法、装置、计算机设备及存储介质
CN111092845B (zh) * 2018-10-24 2021-02-26 珠海格力电器股份有限公司 一种访问涉密文件的预警评估方法及系统
CN109274691A (zh) * 2018-11-09 2019-01-25 南京医渡云医学技术有限公司 企业数据安全实现方法、装置及介质
CN109831450B (zh) * 2019-03-06 2021-05-07 国网甘肃省电力公司电力科学研究院 一种自适应的网络流量异常检测方法
CN110460598B (zh) * 2019-08-12 2021-08-17 西北工业大学深圳研究院 网络流量时空迁移异常检测方法
CN110569282A (zh) * 2019-09-04 2019-12-13 中国工商银行股份有限公司 数据处理方法、装置、计算设备以及计算机可读存储介质
CN111031004B (zh) * 2019-11-21 2021-11-26 腾讯科技（深圳）有限公司 业务流量处理的方法、业务流量学习的方法、装置及系统
CN111181923A (zh) * 2019-12-10 2020-05-19 中移（杭州）信息技术有限公司 流量检测方法、装置、电子设备及存储介质
CN111147899B (zh) * 2019-12-16 2023-05-23 南京亚信智网科技有限公司 一种故障预警方法及装置
CN114978563A (zh) * 2021-02-26 2022-08-30 中国移动通信集团广东有限公司 一种封堵ip地址的方法及装置
CN113596050B (zh) * 2021-08-04 2023-06-30 四川英得赛克科技有限公司 异常流量的分离过滤方法、系统、存储介质及电子设备
CN113472900B (zh) * 2021-09-01 2022-02-22 阿里云计算有限公司 报文处理方法、设备、存储介质及计算机程序产品
CN115632887A (zh) * 2022-12-21 2023-01-20 国网数字科技控股有限公司 一种区块链网络异常数据检测方法、装置及设备
CN116232765B (zh) * 2023-05-05 2023-07-04 中域网空(成都)信息科技有限公司 一种工控安全系统异常访问分析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200522627A (en) * 2003-12-22 2005-07-01 Inst Information Industry Methodology of predicting distributed denial of service based on gray theory
CN101150581A (zh) * 2007-10-19 2008-03-26 华为技术有限公司 分布式拒绝服务攻击检测方法及装置
CN101826996A (zh) * 2010-03-19 2010-09-08 中国科学院计算机网络信息中心 域名系统流量检测方法与域名服务器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060047807A1 (en) * 2004-08-25 2006-03-02 Fujitsu Limited Method and system for detecting a network anomaly in a network
AU2006263653A1 (en) * 2005-06-29 2007-01-04 Trustees Of Boston University Whole-network anomaly diagnosis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200522627A (en) * 2003-12-22 2005-07-01 Inst Information Industry Methodology of predicting distributed denial of service based on gray theory
CN101150581A (zh) * 2007-10-19 2008-03-26 华为技术有限公司 分布式拒绝服务攻击检测方法及装置
CN101826996A (zh) * 2010-03-19 2010-09-08 中国科学院计算机网络信息中心 域名系统流量检测方法与域名服务器

Also Published As

Publication number Publication date
CN102130800A (zh) 2011-07-20

Similar Documents

Publication Publication Date Title
CN102130800B (zh) 基于数据流行为分析的网络访问异常检测装置及方法
CN105493450B (zh) 动态检测网络中的业务异常的方法和系统
CN110519290B (zh) 异常流量检测方法、装置及电子设备
CN1953392B (zh) 异常通信量的检测方法和数据包中继装置
US7889666B1 (en) Scalable and robust troubleshooting framework for VPN backbones
US20080083029A1 (en) Intelligence Network Anomaly Detection Using A Type II Fuzzy Neural Network
CN103580905B (zh) 一种流量预测方法、系统及流量监测方法、系统
JP4232828B2 (ja) アプリケーション分類方法、ネットワーク異常検知方法、アプリケーション分類プログラム、ネットワーク異常検知プログラム、アプリケーション分類装置、ネットワーク異常検知装置
US20180351992A1 (en) Systems and methods for automatically selecting an access control entity to mitigate attack traffic
CN104753733A (zh) 网络流量异常数据的检测方法及装置
Popa et al. Using traffic self-similarity for network anomalies detection
CN106663040A (zh) 用于计算机网络业务中的信任异常检测的方法及系统
US20220407841A1 (en) A Method And Unit For Adaptive Creation Of Network Traffic Filtering Rules On A Network Device That Autonomously Detects Anomalies And Automatically Mitigates Volumetric (DDOS) Attacks
Canini et al. Per flow packet sampling for high-speed network monitoring
Perdices et al. On the modeling of multi-point RTT passive measurements for network delay monitoring
US20130028259A1 (en) System for finding potential origins of spoofed internet protocol attack traffic
JP2016146581A (ja) トラヒック情報収集装置およびトラヒック情報収集方法
JP5180247B2 (ja) パケットサンプリング装置と方法およびプログラム
JP4814270B2 (ja) トラヒック変動量推定方法およびその装置とプログラム
Zhu et al. Understanding routing dynamics in a large-scale wireless sensor network
CN113132301B (zh) 异常数据汇集的检测方法、装置和计算机存储介质
Tao et al. A methodology for analyzing backbone network traffic at stream-level
JP5155284B2 (ja) Ｐ２ｐトラヒック量推定方法と装置およびプログラム
KR20220118777A (ko) 넷플로우 데이터를 이용한 디도스 대역폭 공격을 탐지하는 방법 및 그 장치
Menahem et al. Network-based intrusion detection systems go active!

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: CERTUS INFORMATION TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SUZHOU SAITESI NETWORK TECHNOLOGY CO.,LTD.

Effective date: 20131012

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Dai Lijun

Inventor after: Qian Peizhuan

Inventor after: Cao Jing

Inventor after: Lin Qiang

Inventor after: Song Juping

Inventor after: Lu Tianhua

Inventor after: Zhang Shumin

Inventor after: Li Kemin

Inventor before: Dai Lijun

Inventor before: Qian Peizhuan

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: LU LIJUN QIAN PEIZHUAN TO: LU LIJUN QIAN PEIZHUAN CAO JING LIN QIANG SONG JUPING LU TIANHUA ZHANG SHUMIN LI KEMIN

Free format text: CORRECT: ADDRESS; FROM: 215300 SUZHOU, JIANGSU PROVINCE TO: 210042 NANJING, JIANGSU PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20131012

Address after: 210042 Jiangsu Software Park 699-22, Xuanwu Avenue, Xuanwu District, Jiangsu, Nanjing, 18

Patentee after: CERTUSNET CORP.

Address before: 15, 215300 floor, science and Technology Plaza, Qianjin East Road, Kunshan Development Zone, Suzhou, Jiangsu

Patentee before: Suzhou Saitesi Network Technology Co.,Ltd.