CN109088877A - 一种适用于攻击监测环境下的溯源排序算法 - Google Patents

一种适用于攻击监测环境下的溯源排序算法 Download PDF

Info

Publication number
CN109088877A
CN109088877A CN201811019636.5A CN201811019636A CN109088877A CN 109088877 A CN109088877 A CN 109088877A CN 201811019636 A CN201811019636 A CN 201811019636A CN 109088877 A CN109088877 A CN 109088877A
Authority
CN
China
Prior art keywords
source
flow
record
data
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811019636.5A
Other languages
English (en)
Inventor
周先东
卢志炜
孟彦
朱静轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Network Information Security Ltd By Share Ltd
Original Assignee
China Network Information Security Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Network Information Security Ltd By Share Ltd filed Critical China Network Information Security Ltd By Share Ltd
Priority to CN201811019636.5A priority Critical patent/CN109088877A/zh
Publication of CN109088877A publication Critical patent/CN109088877A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/146—Tracing the source of attacks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及流量监测技术领域，具体涉及一种适用于攻击监测环境下的溯源排序算法,包括配置流量监测设备、配置交换机镜像模式、对交换机做流量镜像、将镜像流量引入流量监测设备进口、流量监测设备对镜像流量进行分析、按照源IP排序构造统计表、按照溯源统计表对流量进行分析、判断是否建立连接跟踪、将建立连接跟踪的数据生成日志，并插入后台数据库、后台攻击监测分析程序读取日志服务器数据并展示。本发明通过在连接跟踪建立的初期，对按照源IP对流量进行排序，对流量数据进行初步过滤与归档，使监测设备在采集流量时，采集到的就是已经初步整理好的攻击日志数据，提高后续检索与展示的执行速度。

Description

一种适用于攻击监测环境下的溯源排序算法
技术领域
本发明涉及流量监测技术领域，具体涉及一种适用于攻击监测环境下的溯源排序算法。
背景技术
网络通信通过数据包来完成，所有信息都包含在网络通信数据包中，流量监测技术就是对网络通信的数据包进行分析与监测，攻击监测就是对流量监测技术对数据包分析出的数据进行筛选，识别其中的攻击数据，攻击溯源就是对攻击监测流量按照源IP地址信息进行归档，找到攻击发起服务器的IP地址信息，对于被攻击服务器来说，发起攻击的服务器产生的流量通常是最大的，把连接跟踪的数据按照源IP进行排序，筛选出来的请求数量最高的访问服务器通常就是攻击服务器，对于攻击监测的界面展示来说，需要归档整理与展示也仅是这些攻击流量相关的服务器信息。如果攻击服务器的数量较多，通常只需要展示排名前几的攻击服务器，由于对攻击监测系统界面有用的仅仅是排名前几的攻击服务器信息，而之前对流量分析时，都是采用全量记录的方式，对所有的连接跟踪都进行了日志记录，由此获取到的流量中的大部分都是正常访问流量，在后台进行攻击分析与展示时，需要将攻击流量筛选，从中找出异常的流量信息，然后进行归档与展示。而处于样本集合中的正常数据，对于展示与使用没有任何帮助，还会消耗处理性能，加大分析难度。同时，在流量较大的情况下，大量的非必要样本还会对大数据存储与使用带来性能上的影响。使需要归档的数据被分布在多个日志存储服务器上，导致检索与展示的速率下降。
发明内容
本发明的目的在于克服现有技术中存在的问题，提供一种适用于攻击监测环境下的溯源排序算法，它可以实现在监测设备采集阶段就对攻击流量进行初步筛选，减少连接跟踪的数量，提高设备处理性能，减少正常流量的采集，避免干扰数据对攻击样本的影响，提高后台分析与处理速度，使攻击监测环境下的连接跟踪处理更具有针对性，为分析数据提供更准确的样本。
为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现的：
一种适用于攻击监测环境下的溯源排序算法，包括如下步骤：
步骤1、配置流量监测设备，配置交换机镜像模式；
步骤2、对交换机做流量镜像，将镜像流量引入流量监测设备进口；
步骤3、流量监测设备对镜像流量进行分析，按照源IP排序构造统计表；
步骤4、按照溯源统计表对流量进行分析，判断是否建立连接跟踪；
步骤5、将建立连接跟踪的数据生成日志，并插入后台数据库；
步骤6、后台攻击监测分析程序读取日志服务器数据并展示。
进一步地，所述步骤1中，所述的配置交换机镜像方式，镜像流量应当是完整流量，其包含一次连接请求中的所有往返数据包。
进一步地，所述步骤3中，具体包括如下步骤：
步骤3.1、初始化连接跟踪链表、缓存区、确定统计周期X，以X分钟视为一个统计周期；
步骤3.2、建立映射统计表，对连接跟踪的源IP进行映射，以数组方式存储的链表结构，以源IP作为下标，以触发计数器所为记录参数；
步骤3.3、对数据包中源IP进行解析，判断映射表中是否有该IP记录：若有记录，则记录触发数量+1，若无记录，则建立相应记录加到映射表数组中；
步骤3.4、建立TOP N统计表，以数组方式存储N条记录的链表结构，以源IP地址和统计数量作为记录参数，并用一个字段记录末尾第N条记录的触发数量；
步骤3.5、当数据包的源IP记录到映射表进行累加后，判断其累加值是否比第N条记录的触发数量大，若其比第N条记录的触发数量大，则将其替换TOP N统计表的最后一条记录，并重新对TOP N统计表进行排序，更新第N条记录触发数量字段；
步骤3.6、建立TOP N归档表，在每个统计周期结束后，从TOP N统计表同步当前的统计数据到归档表中。
进一步地，所述步骤4中，所述的流量分析方式，具体包括如下步骤：
步骤4.1、数据包到达后，解析其中的源IP；
步骤4.2、若源IP在TOP N归档表中，则建立连接跟踪，并记录日志上传到数据库；
步骤4.3、若源IP不在TOP N归档表中，则断开连接跟踪，并放弃后续监测。
进一步地，所述步骤5中，所述的日志在生成过程中，需要将监测设备与后台日志服务器连接，若后台是分布式数据库则由监测设备根据源IP的hash结果选择日志数据所对应的数据库服务器。
本发明的有益效果：通过在连接跟踪建立的初期，对按照源IP对流量进行排序，对流量数据进行初步过滤与归档，使监测设备在采集流量时，采集到的就是已经初步整理好的攻击日志数据，且由于相关联数据已经归档，即使在进行分布式日志存储时，相连的数据也可以存储到同一台日志服务器，提高后续检索与展示的执行速度。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种适用于攻击监测环境下的溯源排序算法，包括如下步骤：
步骤1、配置流量监测设备，配置交换机镜像模式；
步骤2、对交换机做流量镜像，将镜像流量引入流量监测设备进口；
步骤3、流量监测设备对镜像流量进行分析，按照源IP排序构造统计表；
步骤4、按照溯源统计表对流量进行分析，判断是否建立连接跟踪；
步骤5、将建立连接跟踪的数据生成日志，并插入后台数据库；
步骤6、后台攻击监测分析程序读取日志服务器数据并展示。
进一步地，所述步骤1中，所述的配置交换机镜像方式，镜像流量应当是完整流量，其包含一次连接请求中的所有往返数据包。
进一步地，所述步骤3中，具体包括如下步骤：
步骤3.1、初始化连接跟踪链表、缓存区、确定统计周期X，以X分钟视为一个统计周期；
步骤3.2、建立映射统计表，对连接跟踪的源IP进行映射，以数组方式存储的链表结构，以源IP作为下标，以触发计数器所为记录参数；
步骤3.3、对数据包中源IP进行解析，判断映射表中是否有该IP记录：若有记录，则记录触发数量+1，若无记录，则建立相应记录加到映射表数组中；
步骤3.4、建立TOP N统计表，以数组方式存储N条记录的链表结构，以源IP地址和统计数量作为记录参数，并用一个字段记录末尾第N条记录的触发数量；
步骤3.5、当数据包的源IP记录到映射表进行累加后，判断其累加值是否比第N条记录的触发数量大，若其比第N条记录的触发数量大，则将其替换TOP N统计表的最后一条记录，并重新对TOP N统计表进行排序，更新第N条记录触发数量字段；
步骤3.6、建立TOP N归档表，在每个统计周期结束后，从TOP N统计表同步当前的统计数据到归档表中。
进一步地，所述步骤4中，所述的流量分析方式，具体包括如下步骤：
步骤4.1、数据包到达后，解析其中的源IP；
步骤4.2、若源IP在TOP N归档表中，则建立连接跟踪，并记录日志上传到数据库；
步骤4.3、若源IP不在TOP N归档表中，则断开连接跟踪，并放弃后续监测。
进一步地，所述步骤5中，所述的日志在生成过程中，需要将监测设备与后台日志服务器连接，若后台是分布式数据库则由监测设备根据源IP的hash结果选择日志数据所对应的数据库服务器。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种适用于攻击监测环境下的溯源排序算法，其特征在于，包括如下步骤：
步骤1、配置流量监测设备，配置交换机镜像模式；
步骤2、对交换机做流量镜像，将镜像流量引入流量监测设备进口；
步骤3、流量监测设备对镜像流量进行分析，按照源IP排序构造统计表；
步骤4、按照溯源统计表对流量进行分析，判断是否建立连接跟踪；
步骤5、将建立连接跟踪的数据生成日志，并插入后台数据库；
步骤6、后台攻击监测分析程序读取日志服务器数据并展示。
2.根据权利要求1所述的一种适用于攻击监测环境下的溯源排序算法，其特征在于，所述步骤1中，所述的配置交换机镜像方式，镜像流量应当是完整流量，其包含一次连接请求中的所有往返数据包。
3.根据权利要求1所述的一种适用于攻击监测环境下的溯源排序算法，其特征在于，所述步骤3中，具体包括如下步骤：
步骤3.1、初始化连接跟踪链表、缓存区、确定统计周期X，以X分钟视为一个统计周期；
步骤3.2、建立映射统计表，对连接跟踪的源IP进行映射，以数组方式存储的链表结构，以源IP作为下标，以触发计数器所为记录参数；
步骤3.3、对数据包中源IP进行解析，判断映射表中是否有该IP记录：若有记录，则记录触发数量+1，若无记录，则建立相应记录加到映射表数组中；
步骤3.4、建立TOP N统计表，以数组方式存储N条记录的链表结构，以源IP地址和统计数量作为记录参数，并用一个字段记录末尾第N条记录的触发数量；
步骤3.5、当数据包的源IP记录到映射表进行累加后，判断其累加值是否比第N条记录的触发数量大，若其比第N条记录的触发数量大，则将其替换TOP N统计表的最后一条记录，并重新对TOP N统计表进行排序，更新第N条记录触发数量字段；
步骤3.6、建立TOP N归档表，在每个统计周期结束后，从TOP N统计表同步当前的统计数据到归档表中。
4.根据权利要求1所述的一种适用于攻击监测环境下的溯源排序算法，其特征在于，所述步骤4中，所述的流量分析方式，具体包括如下步骤：
步骤4.1、数据包到达后，解析其中的源IP；
步骤4.2、若源IP在TOP N归档表中，则建立连接跟踪，并记录日志上传到数据库；
步骤4.3、若源IP不在TOP N归档表中，则断开连接跟踪，并放弃后续监测。
5.根据权利要求1所述的一种适用于攻击监测环境下的溯源排序算法，其特征在于，所述步骤5中，所述的日志在生成过程中，需要将监测设备与后台日志服务器连接，若后台是分布式数据库则由监测设备根据源IP的hash结果选择日志数据所对应的数据库服务器。
CN201811019636.5A 2018-09-03 2018-09-03 一种适用于攻击监测环境下的溯源排序算法 Pending CN109088877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811019636.5A CN109088877A (zh) 2018-09-03 2018-09-03 一种适用于攻击监测环境下的溯源排序算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811019636.5A CN109088877A (zh) 2018-09-03 2018-09-03 一种适用于攻击监测环境下的溯源排序算法

Publications (1)

Publication Number Publication Date
CN109088877A true CN109088877A (zh) 2018-12-25

Family

ID=64840566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811019636.5A Pending CN109088877A (zh) 2018-09-03 2018-09-03 一种适用于攻击监测环境下的溯源排序算法

Country Status (1)

Country Link
CN (1) CN109088877A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110247822A (zh) * 2019-06-11 2019-09-17 北京全路通信信号研究设计院集团有限公司 一种网络业务监控用的网元及其业务处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026855A1 (en) * 2010-08-25 2012-03-01 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for secure communication over an ip network
CN102694696A (zh) * 2012-05-14 2012-09-26 中国科学院计算机网络信息中心 Dns服务器异常检测的方法及装置
CN105187279A (zh) * 2015-09-28 2015-12-23 广东睿江科技有限公司 一种流量统计并实时排名的方法
CN105721494A (zh) * 2016-03-25 2016-06-29 中国互联网络信息中心 一种异常流量攻击检测处置的方法和装置
CN106657025A (zh) * 2016-11-29 2017-05-10 神州网云（北京）信息技术有限公司 网络攻击行为检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026855A1 (en) * 2010-08-25 2012-03-01 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for secure communication over an ip network
CN102694696A (zh) * 2012-05-14 2012-09-26 中国科学院计算机网络信息中心 Dns服务器异常检测的方法及装置
CN105187279A (zh) * 2015-09-28 2015-12-23 广东睿江科技有限公司 一种流量统计并实时排名的方法
CN105721494A (zh) * 2016-03-25 2016-06-29 中国互联网络信息中心 一种异常流量攻击检测处置的方法和装置
CN106657025A (zh) * 2016-11-29 2017-05-10 神州网云（北京）信息技术有限公司 网络攻击行为检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁峰: "面向骨干网络流量统计的聚集计算研究", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110247822A (zh) * 2019-06-11 2019-09-17 北京全路通信信号研究设计院集团有限公司 一种网络业务监控用的网元及其业务处理方法

Similar Documents

Publication Publication Date Title
US9565076B2 (en) Distributed network traffic data collection and storage
CN101754253B (zh) 一种gprs端到端性能分析方法及系统
US8391157B2 (en) Distributed flow analysis
JP3510658B2 (ja) ネットワーク解析方法
US9531620B2 (en) Control plane packet traffic statistics
US7120678B2 (en) Method and apparatus for configurable data collection on a computer network
US20060294148A1 (en) Network usage management system and method
CN112714047B (zh) 基于工控协议流量的测试方法、装置、设备及存储介质
CN111543038A (zh) 使用中间设备流拼接的网络流拼接
CN107623611A (zh) 一种云平台虚拟机的流量监控系统
JP2005051736A (ja) 統計収集装置を備えたパケット転送装置および統計収集方法
CN110209518A (zh) 一种多数据源日志数据集中收集存储方法及装置
CN100583830C (zh) 流量采集和分析的方法和装置
CN111557087B (zh) 使用业务流拼接发现中间设备
CN109451486A (zh) 基于探测请求帧的WiFi采集系统及WiFi终端探测方法
CN103532796B (zh) 大型isp间互联口统计系统及方法
WO2009038384A1 (en) Query processing system and methods for a database with packet information by dividing a table and query
CN112333020A (zh) 一种基于五元组的网络安全监测及数据报文解析系统
CN106326280B (zh) 数据处理方法、装置及系统
CN105515825B (zh) 一种用于网管容量测试的snmp模拟器及其测试方法
CN113037542B (zh) 一种基于软件定义网络的云网络拓扑构建方法
CN109088877A (zh) 一种适用于攻击监测环境下的溯源排序算法
CN113036930A (zh) 一种电网数据通讯管理系统
CN114095383B (zh) 网络流量采样方法、系统和电子设备
CN109640053A (zh) 一种采集多协议流媒体设备异常实时流方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181225

RJ01 Rejection of invention patent application after publication