CN113507395B - 一种网络数据流的状态追踪装置 - Google Patents

一种网络数据流的状态追踪装置 Download PDF

Info

Publication number
CN113507395B
CN113507395B CN202110684799.0A CN202110684799A CN113507395B CN 113507395 B CN113507395 B CN 113507395B CN 202110684799 A CN202110684799 A CN 202110684799A CN 113507395 B CN113507395 B CN 113507395B
Authority
CN
China
Prior art keywords
module
data stream
main storage
linked list
network data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110684799.0A
Other languages
English (en)
Other versions
CN113507395A (zh
Inventor
吴昊男
李俊伟
张雨杭
刘一清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202110684799.0A priority Critical patent/CN113507395B/zh
Publication of CN113507395A publication Critical patent/CN113507395A/zh
Application granted granted Critical
Publication of CN113507395B publication Critical patent/CN113507395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Abstract

本发明公开了一种网络数据流的状态追踪装置，该装置包括：数据流解析模块、数据流暂存模块、搜索启动模块、链表搜索模块、链表更新模块、主存储搜索模块、主存储更新模块及中心处理模块。本发明可实现高效快速的网络数据流的状态查找与状态更新，可用于流量监控、协议监控、异常分析、攻击检测等多种网络分析应用，使用者可以根据硬件情况、应用环境需求、实际网络环境进行模块灵活配置，可以在保证性能的同时提高资源利用效率。

Description

一种网络数据流的状态追踪装置
技术领域
本发明属于网络通信技术领域，涉及一种网络数据流的状态追踪装置，适用于流量监控、协议监控、异常分析、攻击检测等多种网络安全分析应用。
背景技术
互联网技术应用在各行各业，随着通信需求的增加，网络数据流的监控与分析也变得越来越重要，这对于网络设备管理、网络安全监控与防御、网络性能分析等必不可少。
网络数据流的状态追踪技术，可广泛使用于网络流量统计、网络拓扑检测、网络安全分析等应用中。随着网络设备的升级，网络数据流的传输速度也越来越快。目前，针对网络数据流的状态分析，多数网络分析设备采用数据库操作或使用基于x86架构的服务器进行统计学分析，这些分析往往是在一些数据流收集之后进行，存在一定的时延，且此类分析的分析结果失去了实时性，对于利用协议漏洞的网络攻击检测无法进行实时判断与过滤。
为实现实时判断网络数据包的合法性、过滤非法数据流的同时保证正常用户的连接需求，需要响应速度快的网络数据流的状态追踪技术。目前市场上多数网络数据流状态审查分析工具基于纯软件分析，响应速度较慢、延时较大，安全分析存在一定的误判性。
发明内容
本发明的目的是为了解决当前网络数据流状态追踪技术受限于X86架构下的诸多缺陷而提出的一种网络数据流的状态追踪装置，该装置可适用于FPGA、集成电路设计等硬件框架，根据用户需求及应用环境灵活调整框架内参数，以提供高效、高性能且实时的网络数据流的状态追踪。
实现本发明目的的具体技术方案是：
一种网络数据流的状态追踪装置，特点是它包括数据流状态追踪器、外网数据流处理器以及内网数据流处理器；
所述数据流状态追踪器由搜索启动模块、链表搜索模块、主存储搜索模块、链表更新模块、主存储更新模块、中心处理模块及主存储模块组成；所述外网数据流处理器由外网数据流解析模块及外网数据流暂存模块组成；所述内网数据流处理器由内网数据流解析模块及内网数据流暂存模块组成；
所述搜索启动模块与链表搜索模块、外网数据流解析模块、内网数据流解析模块分别相连，链表搜索模块与搜索启动模块、主存储搜索模块、链表更新模块、中心处理模块分别相连，主存储搜索模块与链表搜索模块、主存储模块、中心处理模块分别相连，链表更新模块与链表搜索模块、中心处理模块分别相连，主存储更新模块与主存储模块、中心处理模块分别相连，中心处理模块与链表搜索模块、主存储搜索模块、链表更新模块、主存储更新模块、外网数据流暂存模块、内网数据流暂存模块分别相连，外网数据流解析模块与搜索启动模块、外网数据流暂存模块分别相连，外网数据流暂存模块与中心处理模块、外网数据流解析模块分别相连，内网数据流解析模块与搜索启动模块、内网数据流暂存模块分别相连，内网数据流暂存模块与中心处理模块、内网数据流解析模块分别相连，主存储模块与主存储搜索模块、主存储更新模块分别相连；
所述外网数据流处理器中，外网数据流解析模块与外网数据输入相连，外网数据流暂存模块与内网数据输出相连；所述内网数据流处理器中，内网数据流解析模块与内网数据输入相连，内网数据流暂存模块与外网数据输出相连；
所述外网数据流解析模块可进行外网数据流的协议识别、包头解析；所述外网数据流暂存模块对数据流状态追踪器中状态审查的外网数据包进行缓存；所述内网数据流解析模块进行内网数据流的协议识别、包头解析；所述内网数据流暂存模块可对数据流状态追踪器中状态审查的内网数据包进行缓存；
所述的链表搜索模块、主存储模块共同组成树形链式内存结构，用于网络数据流的状态存储；所述的中心处理模块对网络数据流状态审查、内存管理及链式结构的动态更新。
所述的链表更新模块用于对链表搜索模块中的链表信息进行更新；所述的主存储更新模块用于对主存储模块中的状态信息进行更新。
所述的外网数据流解析模块可解析外网网络数据包的源MAC地址、目的MAC地址，可解析网络层协议、传输层协议及应用层协议；所述网络层协议支持IP、ICMP、IGMP、ARP协议；所述传输层协议支持TCP、UDP协议；所述应用层协议支持http协议。
所述的内网数据流解析模块可解析内网网络数据包的源MAC地址、目的MAC地址，可解析网络层协议、传输层协议及应用层协议；所述网络层协议支持IP、ICMP、IGMP、ARP协议；所述传输层协议支持TCP、UDP协议；所述应用层协议支持http协议。
所述的链表搜索模块可提供主存储的存储结构信息，通过链式结构缩小平均搜索空间；所述的链表更新模块可动态更新链表搜索模块。
所述的主存储搜索模块可搜索主存储模块中的网络数据流状态信息，将匹配结果反馈至中心处理模块；所述的主存储更新模块可动态更新主存储模块。
所述的中心处理模块可控制链表更新模块、主存储更新模块的更新内容，同时可控制外网数据流暂存模块、内网数据流暂存模块的输出。
与现有技术相比，本发明的有益效果是：
（1）本发明可实现实时流状态追踪，并对逐流进行即时决策与实时动态状态更新，用于网络安全监测时，针对利用协议漏洞的网络攻击，可以在保证合法用户的正常通信下，过滤非法可疑流。
（2）本发明利用链式结构，可缩短逐流的平均执行时间，并大大提高了硬件的资源利用率，存储空间及容量可由用户动态配置，可调整搜索规则以实现链表存储空间的效率最大化。
（3）本发明可通过动态调节架构配置，调整逐数据流的平均执行时间、平衡系统架构的硬件资源。
（4）本发明不依赖于任何操作系统或已有硬件架构，本发明可适用于FPGA、集成电路设计、或多核操作系统，具有硬件的灵活性和独立性，稳定性高。
附图说明
图1为本发明结构框图；
图2为本发明中数据流状态追踪器的树形链式内存结构示意图。
具体实施方式
下面结合附图及实施例对本发明作详细描述。
实施例
参阅图1，本实施例为一种网络数据流的状态追踪装置，包括数据流状态追踪器A、外网数据流处理器B以及内网数据流处理器C。
外网到内网信号通路为：外网数据流输入9接至外网数据流解析模块7，由外网数据流解析模块7进行数据流包头解析、包内容解析，并将流标识信息传至搜索启动模块1，由搜索启动模块1将流标识信息传入链表搜索模块2并启动链表搜索，在搜索过程中该数据流会被完整的存储在外网数据流暂存模块8，链表搜索模块2将流标识对应的主存储地址传至主存储搜索模块3，主存储搜索模块3根据链表搜索模块2的地址信息在主存储模块15中搜索对应的流标识信息，并将搜索结果传至中心处理模块6，中心处理模块6会根据搜索结果对经过的数据流进行可疑性分析，用以指示外网数据流暂存模块8是否通过该数据流，并对触发链表更新模块4、主存储更新模块5分别对链表搜索模块2及主存储模块15进行更新，从而完成实时的流状态追踪及流信息统计。
内网到外网信号通路为：内网数据流输入11接至内网数据流解析模块13，由内网数据流解析模块13进行数据流包头解析、包内容解析，并将流标识信息传至搜索启动模块1，由搜索启动模块1将流标识信息传入链表搜索模块2并启动链表搜索，在搜索过程中该数据流会被完整的存储在内网数据流暂存模块14链表搜索模块2将流标识对应的主存储地址传至主存储搜索模块3，主存储搜索模块3根据链表搜索模块2的地址信息在主存储模块15中搜索对应的流标识信息，并将搜索结果传至中心处理模块6，中心处理模块6会根据搜索结果对经过的数据流进行可疑性分析，用以指示内网数据流暂存模块14是否通过该数据流，并对触发链表更新模块4、主存储更新模块5分别对链表搜索模块2及主存储模块15进行更新，从而完成实时的流状态追踪及流信息统计。
所述流标识信息，包括源MAC地址、目的MAC地址、源IP地址、目的IP地址、源端口地址及目的端口地址。
所述流状态，包括TCP协议中的连接建立时的3次握手状态及连接释放时的4次挥手状态。
所述流信息统计，包括流数量、IP协议数量、ICMP协议数量、IGMP协议数量、ARP协议数量、TCP协议数量、UDP协议数量及http协议数量。
参阅图2，本实施例中数据流状态追踪器A的树形链式内存结构，工作方式如下：第一级D包含节点16与节点17，第二级E包含节点18与节点19，第三级F包含节点20与节点21；当进行搜索时，首先搜索第一级的全部节点，第一级节点16找到匹配信息之后会触发搜索其指向的第二级节点18，接下来会搜索第二级节点18中的全部内容，第二级节点18找到匹配信息后会触发搜索其指向的第三级节点20，以此类推。其中，除最后一级节点外，每一级节点为链表搜索模块2中的存储空间，中心处理模块6控制链表更新模块4的更新内容，链表更新模块4完成对链表搜索模块2中的存储空间的动态更新；最后一级节点为主存储模块15的存储空间，由中心处理模块6控制主存储更新模块5的更新内容，主存储更新模块5完成对存储模块15中的存储空间的动态更新。

Claims (1)

1.一种网络数据流的状态追踪装置，其特征在于，它包括数据流状态追踪器（A）、外网数据流处理器（B）以及内网数据流处理器（C）；
所述数据流状态追踪器（A）由搜索启动模块（1）、链表搜索模块（2）、主存储搜索模块（3）、链表更新模块（4）、主存储更新模块（5）、中心处理模块（6）及主存储模块（15）组成；所述外网数据流处理器（B）由外网数据流解析模块（7）及外网数据流暂存模块（8）组成；所述内网数据流处理器（C）由内网数据流解析模块（13）及内网数据流暂存模块（14）组成；
所述搜索启动模块（1）与链表搜索模块（2）、外网数据流解析模块（7）、内网数据流解析模块（13）分别相连，链表搜索模块（2）与搜索启动模块（1）、主存储搜索模块（3）、链表更新模块（4）、中心处理模块（6）分别相连，主存储搜索模块（3）与链表搜索模块（2）、主存储模块（15）、中心处理模块（6）分别相连，链表更新模块（4）与链表搜索模块（2）、中心处理模块（6）分别相连，主存储更新模块（5）与主存储模块（15）、中心处理模块（6）分别相连，中心处理模块（6）与链表搜索模块（2）、主存储搜索模块（3）、链表更新模块（4）、主存储更新模块（5）、外网数据流暂存模块（8）、内网数据流暂存模块（14）分别相连，外网数据流解析模块（7）与搜索启动模块（1）、外网数据流暂存模块（8）分别相连，外网数据流暂存模块（8）与中心处理模块（6）、外网数据流解析模块（7）分别相连，内网数据流解析模块（13）与搜索启动模块（1）、内网数据流暂存模块（14）分别相连，内网数据流暂存模块（14）与中心处理模块（6）、内网数据流解析模块（13）分别相连，主存储模块（15）与主存储搜索模块（3）、主存储更新模块（5）分别相连；
所述外网数据流处理器（B）中，外网数据流解析模块（7）与外网数据输入（9）相连，外网数据流暂存模块（8）与内网数据输出（10）相连；所述内网数据流处理器（C）中，内网数据流解析模块（13）与内网数据输入（11）相连，内网数据流暂存模块（14）与外网数据输出（12）相连；其中：
所述外网数据流解析模块（7）进行外网数据流的协议识别、包头解析；所述外网数据流暂存模块（8）对数据流状态追踪器（A）中状态审查的外网数据包进行缓存；所述内网数据流解析模块（13）进行内网数据流的协议识别、包头解析；所述内网数据流暂存模块（14）对数据流状态追踪器（A）中状态审查的内网数据包进行缓存；
所述的链表搜索模块（2）、主存储模块（15）共同组成树形链式内存结构，用于网络数据流的状态存储；所述的中心处理模块（6）对网络数据流状态审查、内存管理及链式结构的动态更新；
所述的链表更新模块（4）用于对链表搜索模块（2）中的链表信息进行更新；所述的主存储更新模块（5）用于对主存储模块（15）中的状态信息进行更新。
CN202110684799.0A 2021-06-21 2021-06-21 一种网络数据流的状态追踪装置 Active CN113507395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110684799.0A CN113507395B (zh) 2021-06-21 2021-06-21 一种网络数据流的状态追踪装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110684799.0A CN113507395B (zh) 2021-06-21 2021-06-21 一种网络数据流的状态追踪装置

Publications (2)

Publication Number Publication Date
CN113507395A CN113507395A (zh) 2021-10-15
CN113507395B true CN113507395B (zh) 2023-02-03

Family

ID=78010462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110684799.0A Active CN113507395B (zh) 2021-06-21 2021-06-21 一种网络数据流的状态追踪装置

Country Status (1)

Country Link
CN (1) CN113507395B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047649A (zh) * 2007-04-05 2007-10-03 华为技术有限公司 一种转发数据流的方法和设备
CN103714134A (zh) * 2013-12-18 2014-04-09 中国科学院计算技术研究所 一种网络流量数据索引方法及系统
CN103746919A (zh) * 2014-01-14 2014-04-23 浪潮电子信息产业股份有限公司 一种结合多路决策树和哈希表进行网络包快速分类的方法
CN110213198A (zh) * 2018-02-28 2019-09-06 中标软件有限公司 网络流量的监控方法及系统
CN111835727A (zh) * 2020-06-15 2020-10-27 中国电子科技集团公司第三十研究所 一种基于cpu+fpga+搜索引擎平台实现网络访问控制的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392010B2 (en) * 2011-11-07 2016-07-12 Netflow Logic Corporation Streaming method and system for processing network metadata
CN103067218B (zh) * 2012-12-14 2016-03-02 华中科技大学 一种高速网络数据包内容分析装置
CN103152957B (zh) * 2013-04-07 2015-04-01 河海大学常州校区 目标跟踪分段供电路灯的数据采集与控制系统
CN103391216B (zh) * 2013-07-15 2016-08-10 中国科学院信息工程研究所 一种违规外联报警及阻断方法
WO2015105684A1 (en) * 2014-01-07 2015-07-16 Cpacket Networks, Inc. Apparatus, system, and method for enhanced monitoring and interception of network data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047649A (zh) * 2007-04-05 2007-10-03 华为技术有限公司 一种转发数据流的方法和设备
CN103714134A (zh) * 2013-12-18 2014-04-09 中国科学院计算技术研究所 一种网络流量数据索引方法及系统
CN103746919A (zh) * 2014-01-14 2014-04-23 浪潮电子信息产业股份有限公司 一种结合多路决策树和哈希表进行网络包快速分类的方法
CN110213198A (zh) * 2018-02-28 2019-09-06 中标软件有限公司 网络流量的监控方法及系统
CN111835727A (zh) * 2020-06-15 2020-10-27 中国电子科技集团公司第三十研究所 一种基于cpu+fpga+搜索引擎平台实现网络访问控制的方法

Also Published As

Publication number Publication date
CN113507395A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
US10735379B2 (en) Hybrid hardware-software distributed threat analysis
Zhao et al. {LightGuardian}: A {full-visibility}, lightweight, in-band telemetry system using sketchlets
Han et al. OverWatch: a cross-plane DDoS attack defense framework with collaborative intelligence in SDN
EP3420487B1 (en) Hybrid hardware-software distributed threat analysis
Van Tu et al. Towards ONOS-based SDN monitoring using in-band network telemetry
Hyun et al. Towards knowledge-defined networking using in-band network telemetry
JP6598382B2 (ja) ヒューリスティック及びビジネスポリシーに基づく、ネットワークトラフィックフローに対するリソースのインクリメンタルアプリケーション
US7813350B2 (en) System and method to process data packets in a network using stateful decision trees
US20130195457A1 (en) Method and system for performing distributed deep-packet inspection
US9590922B2 (en) Programmable and high performance switch for data center networks
US20140101751A1 (en) Hardware engine for high-capacity packet processing of network based data loss prevention appliance
Harrison et al. Carpe elephants: Seize the global heavy hitters
Al-Dalky et al. Accelerating snort NIDS using NetFPGA-based Bloom filter
CN113507395B (zh) 一种网络数据流的状态追踪装置
Zheng et al. Accelerate packet classification using GPU: a case study on HiCuts
Kang et al. FPGA-based real-time abnormal packet detector for critical industrial network
Gray et al. High performance network metadata extraction using P4 for ML-based intrusion detection systems
Hyder et al. Closed-loop DDoS mitigation system in software defined networks
Lukashin et al. Distributed packet trace processing method for information security analysis
Navid et al. Detection and mitigation of Denial of Service (DoS) attacks using performance aware Software Defined Networking (SDN)
Bianchi et al. StreaMon: A software-defined monitoring platform
Erlacher et al. High performance intrusion detection using HTTP-based payload aggregation
Salopek Hybrid hardware/software datapath for near real-time reconfigurable high-speed packet filtering
Seufert et al. Marina: Realizing ML-Driven Real-Time Network Traffic Monitoring at Terabit Scale
Islam et al. A novel signature based traffic classification engine reduce false alarms in intrusion detection systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant