CN103269337B - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN103269337B
CN103269337B CN201310153237.9A CN201310153237A CN103269337B CN 103269337 B CN103269337 B CN 103269337B CN 201310153237 A CN201310153237 A CN 201310153237A CN 103269337 B CN103269337 B CN 103269337B
Authority
CN
China
Prior art keywords
security incident
netflow information
netflow
time
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310153237.9A
Other languages
English (en)
Other versions
CN103269337A (zh
Inventor
薛聚坡
张莹
肖军
张永铮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201310153237.9A priority Critical patent/CN103269337B/zh
Publication of CN103269337A publication Critical patent/CN103269337A/zh
Application granted granted Critical
Publication of CN103269337B publication Critical patent/CN103269337B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据处理方法及装置。其中，数据处理方法包括：按照设定周期获取netflow信息；根据本周期内获取的所述netflow信息挖掘安全事件信息。数据处理装置包括：获取模块，用于按照设定周期获取netflow信息；挖掘模块，用于根据所述获取模块在本周期内获取的netflow信息挖掘安全事件信息。本发明的数据处理方法及装置，能够节约计算资源，提高数据处理效率。

Description

数据处理方法及装置
技术领域
本发明涉及通信领域，尤其涉及一种数据处理方法及装置。
背景技术
大规模分布式流量攻击，例如DdoS(Distributed Denial of Service，分布式拒绝服务)，是当前互联网主要的安全威胁之一，严重影响了web服务器和互联网基础设施的正常运行。
当前对大规模分布式流量攻击的检测主要有如下手段：
(1)基于流量变化的检测方法：DDoS攻击最明显的特征就是流量的大幅度增加，基于流量变化检测DDoS也是最常见方法；
(2)基于同协议不同类型数据包数的比例：流入一个地址的流量与流出流量在无攻击情况下成一定比例。与正常流不同，攻击主机向攻击目标发送大量数据包，攻击目标不对攻击数据包做响应或由于拥塞，响应数据包较少；此外，SYN Flood是最常见的一种攻击，攻击发生时，流入攻击主机的SYN-FIN包数和流出的SYN/ACK-FIN包数差异较大。对一个网段流进的SYN-FIN包和流出的SYN/ACK-FIN包数进行统计，能够有效发现SYN Flood攻击主机；
(3)基于源地址数量及分布变化：为隐藏攻击，DDoS攻击者可以降低攻击速率，使攻击流量速率接近正常访问速率，以此增加检测难度。但DDoS攻击时，访问IP数量大幅度增加是攻击的一个明显特征，且此特征无法隐藏；
(4)基于数据包头统计信息的变化：攻击时，除了包数、源地址分布 异常外，数据包头信息统计分布也与正常情况不同。攻击者可以伪造某一方面信息，如源地址采用合法用户地址，却难以伪造包头的所有信息。熵和卡方检验(Chi-Sequare)是两种常用的统计方法，能有效计算特征分布变化，通过这两种方法计算数据包头部信息分布，如包长、协议等，与无攻击时的计算值进行比对，可以有效检测出攻击。此外为了降低计算开销，可以对数据包进行采样计算；
(5)基于链路拥塞和时延测量：DDoS发生时，流量往往超过路由器等网络设备的处理能力，导致端到端的时延增加，因而时延变大也是DDoS攻击的特征之一。由于监测点无法获取所有链路的时延，因而只能通过推算的方法获取无法测量的链路信息。对网络进行端到端的测量，包括时延，包计数等，利用极大似然估计推算网络内部链路的特征分布，并采用自组织映射神经网络对链路特征进行学习，建立起网络链路特征活动轮廓，并建立检测阈值，从而实现对异常现象的检测。
上述对大规模分布式流量攻击的现有检测技术存在如下问题：一是需要设置检测目标，不利于进行全网范围内的攻击检测；二是不记录每条流的信息，从而不可发现攻击终端，不利于溯源。
发明内容
本发明所要解决的技术问题是提供一种数据处理方法及装置，节约资源，提高处理效率。
为解决上述技术问题，本发明提出了一种数据处理方法，包括：
按照设定周期获取netflow信息；
根据本周期内获取的所述netflow信息挖掘安全事件信息。
进一步地，上述数据处理方法还可具有以下特点，所述根据本周期内获取的所述netflow信息挖掘安全事件信息包括：
根据本周期内获取的每一条netflow信息，判断当前事件列表中是否有已结束的安全事件；
若有，则从当前事件列表中删除已结束的安全事件。
进一步地，上述数据处理方法还可具有以下特点，所述根据本周期内获取的每一条netflow信息，判断当前事件列表中是否有已结束的安全事件包括：
获取安全事件的最后活跃时间和netflow信息的到达目的地址时间，计算两者的时间差值；
判断所述时间差值是否大于第二时间阈值，若大于则所述安全时间结束已结束，否则所述安全时间结束未结束。
进一步地，上述数据处理方法还可具有以下特点，所述根据本周期内获取的所述netflow信息挖掘安全事件信息包括：
根据本周期内获取的netflow信息，判断是否有新的安全事件；
若有，则将新的安全事件添加到当前事件列表中。
进一步地，上述数据处理方法还可具有以下特点，所述根据本周期内获取的netflow信息，判断是否有新的安全事件包括：
获取netflow信息的目的地址；
检测当前事件列表中是否有与该netflow信息的目的地址相同的安全事件；
若有，则该netflow信息属于已有安全事件的netflow信息，将该已有安全事件的最后活跃时间更新为该netflow信息的到达目的地址时间；
否则该netflow信息属于新的安全事件的netflow信息，在当前事件列表中创建新的安全事件。
为解决上述技术问题，本发明还提出了一种数据处理装置，包括：
获取模块，用于按照设定周期获取netflow信息；
挖掘模块，用于根据所述获取模块在本周期内获取的netflow信息挖掘安全事件信息。
进一步地，上述数据处理装置还可具有以下特点，所述挖掘模块包括：
第一判断单元，用于根据本周期内获取的每一条netflow信息，判断当前事件列表中是否有已结束的安全事件；
删除单元，用于在所述第一判断单元的判断结果为有时，从当前事件列表中删除已结束的安全事件。
进一步地，上述数据处理装置还可具有以下特点，所述第一判断单元包括：
计算子单元，用于获取安全事件的最后活跃时间和netflow信息的到达目的地址时间，计算两者的时间差值；
第一处理子单元，用于判断所述计算子单元计算得到的时间差值是否大于预设时间阈值，若大于则所述安全事件结束已结束，否则所述安全事件结束未结束。
进一步地，上述数据处理装置还可具有以下特点，所述挖掘模块包括：
第二判断单元，用于根据本周期内获取的netflow信息，判断是否有新的安全事件；
添加单元，用于在所述第二判断单元的判断结果为有时，将新的安全事件添加到当前事件列表中。
进一步地，上述数据处理装置还可具有以下特点，所述第二判断单元包括：
地址获取子单元，用于获取netflow信息的目的地址；
检测子单元，用于检测当前事件列表中是否有与所述地址获取子单元获取的netflow信息的目的地址相同的安全事件；
第二处理子单元，用于在所述检测子单元的检测结果为有时，判定该 netflow信息属于已有安全事件的netflow信息，并将该已有安全事件的最后活跃时间更新为该netflow信息的到达目的地址时间；以及在所述检测子单元的检测结果为没有时，判定该netflow信息属于新的安全事件的netflow信息，并在当前事件列表中创建新的安全事件。
本发明的数据处理方法及装置，能够节约计算资源，提高数据处理效率。
附图说明
图1为本发明实施例中数据处理方法的流程图；
图2为本发明实施例中数据处理装置的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明基于骨干网的netflow记录进行安全事件挖掘。安全事件挖掘每隔固定时间进行一次，即按设定的周期进行挖掘，对上一个挖掘时间点至当前时间之间的netflow信息进行分析，得到新的安全事件，或者是已有安全事件的最新信息，如该安全事件的结束时间，或者该安全事件的流状况。其中，安全事件可能是攻击事件，也可能是非攻击事件。
同一安全事件中netflow信息需满足的条件是：
1)netflow信息的目的地址相同；
2)时间相邻的两条netflow信息的时间间隔小于第一时间阈值。此处，第一时间阈值的含义是时间相近的两条同一ip(地址)对目的ip的访问的时间差。如果这两条netflow信息的时间间隔小于第一时间阈值，则该两条netflow信息属于同一安全事件。
安全事件结束的判断依据是：如果一个安全事件的最后一条netflow信 息与当前netflow信息的时间差值大于第二时间阈值，则该安全事件结束。
第一时间阈值与第二时间阈值可以设置为相同，也可以设置为不同。
下面通过实施例对本发明的原理做进一步说明。
图1为本发明实施例中数据处理方法的流程图。如图1所示，本实施例中，数据处理方法可以包括如下步骤：
步骤101，判断是否有新推送的且未处理的netflow信息，若是执行步骤102，否则结束；
Netflow信息每隔一定时间会自动推送到数据存储位置中。例如，每天零点，后台会将前24小时的netflow信息推送至数据存储位置。因此，可以从数据存储位置中逐条读取新推送来的netflow信息。数据存储位置不仅可以是数据库，还可以是本地文件等存储位置。
步骤102，读取一条未处理的netflow信息，获取其目的地址DIP和到达目的地址时间Tcurr；
步骤103，将全部当前安全事件标记为未进行结束判断；
步骤104，是否判断完全部当前安全事件，若是执行步骤108，否则执行步骤105；
步骤105，获取一个未进行结束判断的安全事件的最后活跃时间Tactv；
步骤106，判断Tcurr与Tactv的差值是否大于阈值T，若是执行步骤107，否则执行步骤111；
步骤107，该安全事件结束，从当前事件列表中删除该安全事件；
步骤108，判断当前事件列表中是否存在与该netflow的目的地址相同的安全事件，若是执行步骤110否则执行步骤109；
步骤109，该netflow是一个新的安全事件的netflow信息，在当前事件列表中创建该安全事件，该安全事件的目的地址为该netflow的目的地址DIP，该安全事件的攻击发现时间为该netflow的到达目的地址时间Tcurr， 该安全事件的最后活跃时间为该netflow的到达目的地址时间Tcurr，执行步骤101；
步骤110，该netflow属于一个已存在的安全事件，更新该已存在安全事件的最后活跃时间为该netflow的到达目的地址时间Tcurr，执行步骤101；
步骤111，该安全事件标记为已进行了结束判断，执行步骤104。
本发明的数据处理方法，能够节约计算资源，提高数据处理效率。本发明的数据处理方法可以应用于对骨干网的大规模分布式流量攻击数据进行处理。当一个地址遭受攻击时，该地址接收到的数据流访问量将会非常大。在这时候如果对每条记录都分开处理，将会耗费大量资源，造成极大的浪费。如果不进行分类，或者只进行简单的分类的话，会造成很大的误差，严重影响效率。本发明的数据处理方法可以很好解决这个问题，能够方便快捷的将对服务器进行攻击的netflow数据流进行分类，找出各个安全事件并进行相应的针对性措施，极大的提高了处理效率和资源利用率。
本发明还提出了一种数据处理装置，用以执行上述的数据处理方法。
图2为本发明实施例中数据处理装置的结构框图。如图2所示，本实施例中，数据处理装置包括获取模块210和挖掘模块220。其中，获取模块210用于按照设定周期获取netflow信息。挖掘模块220用于根据获取模块210在本周期内获取的netflow信息挖掘安全事件信息。
在本发明实施例中，挖掘模块220可以进一步包括第一判断单元和删除单元。第一判断单元用于根据本周期内获取的每一条netflow信息，判断当前事件列表中是否有已结束的安全事件。删除单元用于在第一判断单元的判断结果为有时，从当前事件列表中删除已结束的安全事件。
其中，第一判断单元还可以进一步包括计算子单元和第一处理子单元。计算子单元用于获取安全事件的最后活跃时间和netflow信息的到达目的地 址时间，计算两者的时间差值。第一处理子单元用于判断计算子单元计算得到的时间差值是否大于第二时间阈值，若大于则所述安全事件结束已结束，否则所述安全事件结束未结束。
在本发明实施例中，挖掘模块220可以进一步包括第二判断单元和添加单元。第二判断单元用于根据本周期内获取的netflow信息，判断是否有新的安全事件。添加单元用于在第二判断单元的判断结果为有时，将新的安全事件添加到当前事件列表中。
其中，第二判断单元还可以进一步包括地址获取子单元、地址获取子单元和第二处理子单元。地址获取子单元用于获取netflow信息的目的地址。检测子单元用于检测当前事件列表中是否有与地址获取子单元获取的netflow信息的目的地址相同的安全事件。第二处理子单元用于在检测子单元的检测结果为有时，判定该netflow信息属于已有安全事件的netflow信息，并将该已有安全事件的最后活跃时间更新为该netflow信息的到达目的地址时间；以及在检测子单元的检测结果为没有时，判定该netflow信息属于新的安全事件的netflow信息，并在当前事件列表中创建新的安全事件。
本发明的数据处理装置，能够节约计算资源，提高数据处理效率。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据处理方法，其特征在于，包括：
按照设定周期获取netflow信息；
根据本周期内获取的所述netflow信息挖掘安全事件信息，具体为：
根据本周期内获取的每一条netflow信息，判断当前事件列表中是否有已结束的安全事件；
若有，则从当前事件列表中删除已结束的安全事件；
同一安全事件中netflow信息需满足的条件是：
1)netflow信息的目的地址相同；
2)时间相邻的两条netflow信息的时间间隔小于第一时间阈值；所述第一时间阈值的含义是时间相近的两条同一ip地址对目的ip地址的访问的netflow信息的时间差；
安全事件结束的判断依据是：如果一个安全事件的最后一条netflow信息与当前netflow信息的时间差值大于第二时间阈值，则该安全事件结束。
2.根据权利要求1所述的数据处理方法，其特征在于，所述根据本周期内获取的每一条netflow信息，判断当前事件列表中是否有已结束的安全事件包括：
获取安全事件的最后活跃时间和netflow信息的到达目的地址时间，计算两者的时间差值；
判断所述时间差值是否大于第二时间阈值，若大于则所述安全事件已结束，否则所述安全事件未结束。
3.根据权利要求1所述的数据处理方法，其特征在于，所述根据本周期内获取的所述netflow信息挖掘安全事件信息包括：
根据本周期内获取的netflow信息，判断是否有新的安全事件；
若有，则将新的安全事件添加到当前事件列表中。
4.根据权利要求3所述的数据处理方法，其特征在于，所述根据本周期内获取的netflow信息，判断是否有新的安全事件包括：
获取netflow信息的目的地址；
检测当前事件列表中是否有与该netflow信息的目的地址相同的安全事件；
若有，则该netflow信息属于已有安全事件的netflow信息，将该已有安全事件的最后活跃时间更新为该netflow信息的到达目的地址时间；
否则该netflow信息属于新的安全事件的netflow信息，在当前事件列表中创建新的安全事件。
5.一种数据处理装置，其特征在于，包括：
获取模块，用于按照设定周期获取netflow信息；
挖掘模块，用于根据所述获取模块在本周期内获取的netflow信息挖掘安全事件信息，所述挖掘模块包括：
第一判断单元，用于根据本周期内获取的每一条netflow信息，判断当前事件列表中是否有已结束的安全事件；
删除单元，用于在所述第一判断单元的判断结果为有时，从当前事件列表中删除已结束的安全事件；
同一安全事件中netflow信息需满足的条件是：
1)netflow信息的目的地址相同；
2)时间相邻的两条netflow信息的时间间隔小于第一时间阈值；所述第一时间阈值的含义是时间相近的两条同一ip地址对目的ip地址的访问的netflow信息的时间差；
安全事件结束的判断依据是：如果一个安全事件的最后一条netflow信息与当前netflow信息的时间差值大于第二时间阈值，则该安全事件结束。
6.根据权利要求5所述的数据处理装置，其特征在于，所述第一判断单元包括：
计算子单元，用于获取安全事件的最后活跃时间和netflow信息的到达目的地址时间，计算两者的时间差值；
第一处理子单元，用于判断所述计算子单元计算得到的时间差值是否大于第二时间阈值，若大于则所述安全事件已结束，否则所述安全事件未结束。
7.根据权利要求5所述的数据处理装置，其特征在于，所述挖掘模块包括：
第二判断单元，用于根据本周期内获取的netflow信息，判断是否有新的安全事件；
添加单元，用于在所述第二判断单元的判断结果为有时，将新的安全事件添加到当前事件列表中。
8.根据权利要求7所述的数据处理装置，其特征在于，所述第二判断单元包括：
地址获取子单元，用于获取netflow信息的目的地址；
检测子单元，用于检测当前事件列表中是否有与所述地址获取子单元获取的netflow信息的目的地址相同的安全事件；
第二处理子单元，用于在所述检测子单元的检测结果为有时，判定该netflow信息属于已有安全事件的netflow信息，并将该已有安全事件的最后活跃时间更新为该netflow信息的到达目的地址时间；以及在所述检测子单元的检测结果为没有时，判定该netflow信息属于新的安全事件的netflow信息，并在当前事件列表中创建新的安全事件。
CN201310153237.9A 2013-04-27 2013-04-27 数据处理方法及装置 Expired - Fee Related CN103269337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310153237.9A CN103269337B (zh) 2013-04-27 2013-04-27 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310153237.9A CN103269337B (zh) 2013-04-27 2013-04-27 数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN103269337A CN103269337A (zh) 2013-08-28
CN103269337B true CN103269337B (zh) 2016-08-10

Family

ID=49012946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310153237.9A Expired - Fee Related CN103269337B (zh) 2013-04-27 2013-04-27 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN103269337B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916387B (zh) * 2014-03-18 2017-06-06 汉柏科技有限公司 一种防护ddos攻击的方法及系统
CN105337951B (zh) * 2014-08-15 2019-04-23 中国电信股份有限公司 对系统攻击进行路径回溯的方法与装置
CN105939229B (zh) * 2016-03-28 2019-02-19 杭州迪普科技股份有限公司 计算网络流量的速率的方法及装置
CN112887300B (zh) * 2021-01-22 2022-02-01 北京交通大学 一种数据包分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101355504A (zh) * 2008-08-14 2009-01-28 成都市华为赛门铁克科技有限公司 一种用户行为的确定方法和装置
CN101741628A (zh) * 2008-11-13 2010-06-16 比蒙新帆(北京)通信技术有限公司 基于应用层业务分析的网络流量分析方法
CN101771582A (zh) * 2009-12-28 2010-07-07 北京神州泰岳软件股份有限公司 一种基于状态机的安全监控关联分析方法
CN101958897A (zh) * 2010-09-27 2011-01-26 北京系统工程研究所 一种安全事件关联分析方法及系统
US8001601B2 (en) * 2006-06-02 2011-08-16 At&T Intellectual Property Ii, L.P. Method and apparatus for large-scale automated distributed denial of service attack detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8001601B2 (en) * 2006-06-02 2011-08-16 At&T Intellectual Property Ii, L.P. Method and apparatus for large-scale automated distributed denial of service attack detection
CN101355504A (zh) * 2008-08-14 2009-01-28 成都市华为赛门铁克科技有限公司 一种用户行为的确定方法和装置
CN101741628A (zh) * 2008-11-13 2010-06-16 比蒙新帆(北京)通信技术有限公司 基于应用层业务分析的网络流量分析方法
CN101771582A (zh) * 2009-12-28 2010-07-07 北京神州泰岳软件股份有限公司 一种基于状态机的安全监控关联分析方法
CN101958897A (zh) * 2010-09-27 2011-01-26 北京系统工程研究所 一种安全事件关联分析方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于Netflow的流量异常检测技术研究";蒲天银等;《计算机与数字工程》;20090730;第37卷(第7期);正文第115-118页 *
"基于NetFlow的用户行为挖掘算法设计";刘璇等;《计算机应用研究》;20090228;第26卷(第2期);正文第714页左栏倒数第3段、右栏第2行、第715页左栏倒数第2段 *

Also Published As

Publication number Publication date
CN103269337A (zh) 2013-08-28

Similar Documents

Publication Publication Date Title
Hu et al. FADM: DDoS flooding attack detection and mitigation system in software-defined networking
CN107231384B (zh) 一种面向5g网络切片的DDoS攻击检测防御方法及系统
Wang et al. An entropy-based distributed DDoS detection mechanism in software-defined networking
CN102271068B (zh) 一种dos/ddos攻击检测方法
Dharma et al. Time-based DDoS detection and mitigation for SDN controller
Zhou et al. Exploiting the vulnerability of flow table overflow in software-defined network: Attack model, evaluation, and defense
CN104202336A (zh) 一种基于信息熵的DDoS攻击检测方法
CN106357673A (zh) 一种多租户云计算系统DDoS攻击检测方法及系统
CN103281293A (zh) 一种基于多维分层相对熵的网络流量异常检测方法
CN101572701A (zh) 针对DNS服务的抗DDoS攻击安全网关系统
CN104734916B (zh) 一种基于tcp协议的高效多级异常流量检测方法
CN113114694B (zh) 一种面向高速网络分组抽样数据采集场景的DDoS攻击检测方法
CN103269337B (zh) 数据处理方法及装置
CN106561016A (zh) 一种基于熵的SDN控制器DDoS攻击检测装置和方法
CN102821081A (zh) 监测小流量ddos攻击的方法和系统
CN107770132A (zh) 一种对算法生成域名进行检测的方法及装置
CN108183917A (zh) 基于软件定义网络的DDoS攻击跨层协同检测方法
CN107302534A (zh) 一种基于大数据平台的DDoS网络攻击检测方法及装置
CN103916379B (zh) 一种基于高频统计的cc攻击识别方法及系统
CN102801719A (zh) 基于主机流量功率谱相似性度量的僵尸网络检测方法
CN107864110A (zh) 僵尸网络主控端检测方法和装置
CN109150920A (zh) 一种基于软件定义网络的攻击检测溯源方法
JP2007074339A (ja) 拡散型不正アクセス検出方法および拡散型不正アクセス検出システム
CN117220958A (zh) 一种高速网络场景下基于sketch的DDoS攻击检测方法
JP5180247B2 (ja) パケットサンプリング装置と方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20210427

CF01 Termination of patent right due to non-payment of annual fee