CN110798345A - 一种基于zynq的网络流量监控分析设备 - Google Patents

一种基于zynq的网络流量监控分析设备 Download PDF

Info

Publication number
CN110798345A
CN110798345A CN201911022207.8A CN201911022207A CN110798345A CN 110798345 A CN110798345 A CN 110798345A CN 201911022207 A CN201911022207 A CN 201911022207A CN 110798345 A CN110798345 A CN 110798345A
Authority
CN
China
Prior art keywords
module
network
clock
power supply
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911022207.8A
Other languages
English (en)
Inventor
吴惑
刘一清
诸俊辉
蔡鸥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201911022207.8A priority Critical patent/CN110798345A/zh
Publication of CN110798345A publication Critical patent/CN110798345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Abstract

本发明公开了一种基于ZYNQ的网络流量监控分析设备，本发明采用以模块化集成的结构，由10G/40G以太网输入接口模块，网络数据包解包模块、DDR存储模块、PCIE数据接口模块、网路数据包分类统计模块、流表建立与统计模块、自定义协议重构与解析模块、DMA数据通道模块、ARM处理器、1G以太网数据接口模块及时钟与电源模块构成。本发明拥有网络流量统计与网络流量分析的功能。用户利用该设备，提高了流量统计和分析的响应速度，能够实时得到分析数据来采取措施，并能够有效减轻核心分析设备的流量分析的压力。

Description

一种基于ZYNQ的网络流量监控分析设备
技术领域
本发明涉及网络流量、网络通信、网络信息安全与监控及异构处理技术领域，适用于高数据流量的核心网络流量与分析系统，尤其是一种基于ZYNQ的网络流量监控分析设备。
背景技术
在互联网高速发展的时代下，互联网用户和设施数量的飙升，高速光网络的需求呈现指数性增长，网络流量也在向动态化和高速化发展。因此，网络流量监控是现代网络工程中关键点之一，它提供对网络中至关重要的网络信息，以确保稳定性，可用性和安全性，也是对网络进行性能评估，流量分类和问题检测所必需的过程。在网络流量监控领域中，监控设备收集有关网络流的基本统计信息，并使用NetFlow或IPFIX 等切换协议将其报告给中央存储收集器。然而多数网络流量监控设备只把基础的网络流量信息进行输出，最终分析在中央处理器和中央服务器上，在高速流量集中分析的情况下，中央服务器导致分析时延和分析效率都不佳。另一方面，网络监控系统是网络管理员非常有用的工具，分为两种类型的监控：被动监控和主动监控。被动监控通过收集并分析组成该网络的路由器和交换机的状态来监控整个网络的性能。主动监控则是额外加入数据包对网络性能进行检测。然而，这些监控都不涉及网络流量和网络数据包的真实数据，存在局限性。
发明内容
本发明的目的是针对现有技术不足而提供的一种基于ZYNQ的网络流量监控分析设备，本发明采用以模块化集成的结构，由10G/40G以太网输入接口模块，网络数据包解包模块、DDR存储模块、PCIE数据接口模块、网路数据包分类统计模块、流表建立与统计模块、自定义协议重构与解析模块、DMA数据通道模块、ARM处理器、1G以太网数据接口模块及时钟与电源模块构成。本发明提出了一种基于异构结构---专用逻辑电路和处理器,用于网络流量统计与网络流量分析，本发明能够监控和分析高达40Gbps的网络数据流量。在硬件上实现了流量和协议的统计，并配合ARM处理器对网络流量和数据进行分析，提高了流量统计和分析的响应速度，能够实时得到分析数据来做出措施，并能够有效减轻核心分析设备流量分析的压力。
实现本发明目的的具体技术方案是：
一种基于ZYNQ的网络流量监控分析设备，其特点包括10G/40G以太网输入接口模块，网络数据包解包模块、DDR存储模块、PCIE数据接口模块、网路数据包分类统计模块、流表建立与统计模块、自定义协议重构与解析模块、DMA数据通道模块、ARM处理器、1G以太网数据接口模块及时钟与电源模块；
所述10G/40G以太网输入接口模块分别与网络数据包解包模块及时钟与电源模块连接；
所述网络数据包解包模块分别与网路数据包分类统计模块及时钟与电源模块连接；
所述DDR存储模块分别与PCIE数据接口模块、流表建立与统计模块及时钟与电源模块连接；
所述PCIE数据接口模块分别与流表建立与统计模块及时钟与电源模块连接；
所述网路数据包分类统计模块分别与流表建立与统计模块、自定义协议重构与解析模块及时钟与电源模块连接；
所述流表建立与统计模块分别与自定义协议重构与解析模块及时钟与电源模块连接；
所述自定义协议重构与解析模块分别与网路数据包分类统计模块、DMA数据通道模块及时钟与电源模块连接；
所述DMA数据通道模块分别与ARM处理器及时钟与电源模块连接；
所述ARM处理器分别与1G以太网数据接口模块及时钟与电源模块连接；
所述1G以太网数据接口模块与时钟与电源模块连接。
所述10G/40G以太网输入接口模块由10G/40G网光口连接10G/40G以太网PHY核构成。
所述网路数据包分类统计模块由网络数据包分类器模块分别连接网络二至四层统计模块及网路数据过滤模块构成。
本发明采用以模块化集成的结构，由10G/40G以太网输入接口模块，网络数据包解包模块、DDR存储模块、PCIE数据接口模块、网路数据包分类统计模块、流表建立与统计模块、自定义协议重构与解析模块、DMA数据通道模块、ARM处理器、1G以太网数据接口模块及时钟与电源模块构成。本发明提出了一种基于异构结构---专用逻辑电路和处理器,用于网络流量统计与网络流量分析，本发明能够监控和分析高达40Gbps的网络数据流量。在硬件上实现了流量和协议的统计，并配合ARM处理器对网络流量和数据进行分析，提高了流量统计和分析的响应速度，能够实时得到分析数据来做出措施，并能够有效减轻核心分析设备流量分析的压力。
本发明的有益技术效果：
本发明提出了一种基于异构结构---专用逻辑电路和处理器,基于ZYNQ的网络流量监控分析设备，能够监控和分析高达40Gbps的网络数据流量。在硬件上实现了流量和协议的统计，并配合ARM处理器对网络流量和数据进行分析，提高了流量统计和分析的响应速度，能够实时得到分析数据来做出措施，并能够有效减轻核心分析设备流量分析的压力。
目前网路朝着高速化方向发展，网络数据包日益复杂，利用此设备，可以高速、完备、有效的分析和统计网络流量，发现网络中的攻击，及时做出应对；基于此设备，还能够减小核心分析服务器的分析压力。
附图说明
图1为本发明结构框图；
图2为本发明网路数据包分类统计模块的工作流程图；
图3为本发明运行流程图；
图4为本发明使用状态参考图。
具体实施方式
参阅图1，本发明包括10G/40G以太网输入接口模块1，网络数据包解包模块2、DDR存储模块3、PCIE数据接口模块4、网路数据包分类统计模块5、流表建立与统计模块6、自定义协议重构与解析模块7、DMA数据通道模块8、ARM处理器9、1G以太网数据接口模块13及时钟与电源模块10；
所述10G/40G以太网输入接口模块1分别与网络数据包解包模块2及时钟与电源模块10连接；
所述网络数据包解包模块2分别与网路数据包分类统计模块5及时钟与电源模块10连接；
所述DDR存储模块3分别与PCIE数据接口模块4、流表建立与统计模块6及时钟与电源模块10连接；
所述PCIE数据接口模块4分别与流表建立与统计模块6及时钟与电源模块10连接；
所述网路数据包分类统计模块5分别与流表建立与统计模块6、自定义协议重构与解析模块7及时钟与电源模块10连接；
所述流表建立与统计模块6分别与自定义协议重构与解析模块7及时钟与电源模块10连接；
所述自定义协议重构与解析模块7分别与网路数据包分类统计模块5、DMA数据通道模块8及时钟与电源模块10连接；
所述DMA数据通道模块8分别与ARM处理器9及时钟与电源模块10连接；
所述ARM处理器9分别与1G以太网数据接口模块13及时钟与电源模块10连接；
所述1G以太网数据接口模块13与时钟与电源模块10连接。
参阅图1，所述10G/40G以太网输入接口模块1由10G/40G网光口11连接10G/40G以太网PHY核12构成。
参阅图1，所述网路数据包分类统计模块5由网络数据包分类器模块51分别连接网络二至四层统计模块52及网路数据过滤模块53构成。
实施例
参阅图4,本发明工作时需一台电脑作为网络流量和分析结果接收和一台核心交换机提供镜像的网络数据输出，本发明通过统计并分析镜像端口的网络数据，利用千兆以太网接口将统计和分析结果发送出去，在电脑端通过网络套接字程序对结果进行接收和显示。
本发明的工作流程：
参阅图1，本发明的网络流量统计工作流程如下：网络数据包解包模块2接收由10G/40G以太网输入接口模块1转变接收的光口数据为AX4-Stream数据流，在网络数据包解包模块2对网络数据包进行包头解析后，将控制信息输入网路数据包分类统计模块5内的网络数据包分类器模块51，将数据信息输入网路数据过滤53。在网络数据包分类器模块51中将不同的协议类型（包括IPv4，IPv6，ICMP，ARP，TCP，UDP等）进行分类，输出分类的控制信息给网络二至四层统计模块52和网路数据过滤模块53。在网络二至四层统计模块52中将二至四层的协议信息、包括数据长度、单位时间数据流进行计算输入自定以协议重构与解析模块7，在网路数据过滤模块53中根据网络数据包分类器模块51输出控制信息对数据包进行过滤，滤出满足UDP/TCP流条件的数据包进入流表建立与统计模块6；在流表建立与统计模块6中动态的建立网络流表，并对每个输入流进行定时的统计，输出每个流的网络流量、流量分布等信息，将其输入自定义协议重构与解析模块7。在自定义协议重构与解析模块7中，把流量信息和协议信息进行数据重构，组成ARM和逻辑模块通信协议，通过DMA数据通道模块8传送至ARM处理器9；ARM处理中9把统计的结果作为数据段，组成UDP包，从1G以太网数据接口模块13输出。
参阅图1，本发明的网络流量分析工作流程如下：在上述网络流量统计完成的基础上，由ARM处理器9分析送至ARM的网络流量信息，判断该流的合法性，若检测位非法攻击的流将此信息组成UDP包，从1G以太网数据接口模块13输出；另外根据分析结果，对敏感流的数据或指定的应用层协议类型流（如HTTP）进行获取，从ARM处理器9通过DMA数据通道模块8发送指令至自定义协议重构与解析模块7，流表建立与统计模块6根据来自自定义协议重构与解析模块7的控制命令，对ARM需要的特定的网络数据包（如HTTP）发送至自定义协议重构与解析模块7，并上传至ARM处理器9，对需要电脑辅助分析的网络数据包在DDR存储模块3中进行缓存，通过PCIE数据接口模块4上传至电脑。
参阅图1，图2，本发明的网路数据包分类统计模块的工作过程如下：在网络数据包分类器模块51内部，运行图2左侧的状态机，根据输入的包头数据，对包头数据进行依次的分类判断，将每一步的分类结果输出至网络2至4层统计模块52。在网络2至4层统计模块52中对计数请求和内部定时器进行判断，当请求来临，根据计数请求的类型，对相应的计数器进行计数操作；当定时达到额定时间后，对所有的分类器进行计数值输出操作，并清空分类器。网路数据过滤模块53根据分类器提供的数据包类型，把对应的TCP或UDP的数据包和包头信息进行过滤输出，其他类型数据包直接丢弃。
参阅图3，本发明的运行过程如下，给设备上电，检测正常后，用光纤和网络分别把镜像网络数据输入端口和统计分析结果输出端口接入本设备。然后打开电脑，打开应用程序显示接收的网络统计分析结果。
本发明在硬件上实现了流量和协议的统计，并配合ARM处理器对网络流量和数据进行分析，提高了流量统计和分析的响应速度，能够实时得到分析数据来做出措施，并能够有效减轻核心分析设备流量分析的压力。
目前网路朝着高速化方向发展，网络数据包日益复杂，利用此设备，可以高速、完备、有效的分析和统计网络流量，发现网络中的攻击，及时做出应对；基于此设备，还能够减小核心分析服务器的分析压力。

Claims (3)

1.一种基于ZYNQ的网络流量监控分析设备，其特征在于，该设备包括10G/40G以太网输入接口模块（1），网络数据包解包模块（2）、DDR存储模块（3）、PCIE数据接口模块（4）、网路数据包分类统计模块（5）、流表建立与统计模块（6）、自定义协议重构与解析模块（7）、DMA数据通道模块（8）、ARM处理器（9）、1G以太网数据接口模块（13）及时钟与电源模块（10）；
所述10G/40G以太网输入接口模块（1）分别与网络数据包解包模块（2）及时钟与电源模块（10）连接；
所述网络数据包解包模块（2）分别与网路数据包分类统计模块（5）及时钟与电源模块（10）连接；
所述DDR存储模块（3）分别与PCIE数据接口模块（4）、流表建立与统计模块（6）及时钟与电源模块（10）连接；
所述PCIE数据接口模块（4）分别与流表建立与统计模块（6）及时钟与电源模块（10）连接；
所述网路数据包分类统计模块（5）分别与流表建立与统计模块（6）、自定义协议重构与解析模块（7）及时钟与电源模块（10）连接；
所述流表建立与统计模块（6）分别与自定义协议重构与解析模块（7）及时钟与电源模块（10）连接；
所述自定义协议重构与解析模块（7）分别与网路数据包分类统计模块（5）、DMA数据通道模块（8）及时钟与电源模块（10）连接；
所述DMA数据通道模块（8）分别与ARM处理器（9）及时钟与电源模块（10）连接；
所述ARM处理器（9）分别与1G以太网数据接口模块（13）及时钟与电源模块（10）连接；
所述1G以太网数据接口模块（13）与时钟与电源模块（10）连接。
2.根据权利要求1所述的网络流量监控分析设备，其特征在于，所述10G/40G以太网输入接口模块（1）由10G/40G网光口（11）连接10G/40G以太网PHY核（12）构成。
3.根据权利要求1所述的网络流量监控分析设备，其特征在于，所述网路数据包分类统计（5）由网络数据包分类器模块（51）分别连接网络二至四层统计模块（52）及网路数据过滤模块（53）构成。
CN201911022207.8A 2019-10-25 2019-10-25 一种基于zynq的网络流量监控分析设备 Pending CN110798345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911022207.8A CN110798345A (zh) 2019-10-25 2019-10-25 一种基于zynq的网络流量监控分析设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911022207.8A CN110798345A (zh) 2019-10-25 2019-10-25 一种基于zynq的网络流量监控分析设备

Publications (1)

Publication Number Publication Date
CN110798345A true CN110798345A (zh) 2020-02-14

Family

ID=69441251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911022207.8A Pending CN110798345A (zh) 2019-10-25 2019-10-25 一种基于zynq的网络流量监控分析设备

Country Status (1)

Country Link
CN (1) CN110798345A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377051A (zh) * 2021-06-18 2021-09-10 华东师范大学 一种基于fpga的网络安全防护设备
CN114710571A (zh) * 2022-04-01 2022-07-05 中国人民解放军战略支援部队信息工程大学 数据包处理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970190A (zh) * 2012-12-10 2013-03-13 东南大学 一种网络流量监测系统
CN110061999A (zh) * 2019-04-28 2019-07-26 华东师范大学 一种基于zynq的网络数据安全分析辅助设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970190A (zh) * 2012-12-10 2013-03-13 东南大学 一种网络流量监测系统
CN110061999A (zh) * 2019-04-28 2019-07-26 华东师范大学 一种基于zynq的网络数据安全分析辅助设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377051A (zh) * 2021-06-18 2021-09-10 华东师范大学 一种基于fpga的网络安全防护设备
CN113377051B (zh) * 2021-06-18 2022-04-05 华东师范大学 一种基于fpga的网络安全防护设备
CN114710571A (zh) * 2022-04-01 2022-07-05 中国人民解放军战略支援部队信息工程大学 数据包处理系统
CN114710571B (zh) * 2022-04-01 2023-05-23 中国人民解放军战略支援部队信息工程大学 数据包处理系统

Similar Documents

Publication Publication Date Title
Svoboda et al. Network monitoring approaches: An overview
US9407518B2 (en) Apparatus, system, and method for enhanced reporting and measurement of performance data
Phan et al. Sdn-mon: Fine-grained traffic monitoring framework in software-defined networks
Vestin et al. Programmable event detection for in-band network telemetry
US10069704B2 (en) Apparatus, system, and method for enhanced monitoring and searching of devices distributed over a network
Castanheira et al. Flowstalker: Comprehensive traffic flow monitoring on the data plane using p4
CN103067218B (zh) 一种高速网络数据包内容分析装置
CN103444132A (zh) 网络系统及其交换方法
CN111049843A (zh) 一种智能变电站网络异常流量分析方法
CN110798345A (zh) 一种基于zynq的网络流量监控分析设备
CN110061999A (zh) 一种基于zynq的网络数据安全分析辅助设备
CN106572190A (zh) 信息通信运行数据自主采集方法
CN103997439A (zh) 一种流量监测方法、装置和系统
CN210780842U (zh) 一种基于zynq的网络流量监控分析设备
Forconesi et al. Accurate and flexible flow-based monitoring for high-speed networks
CN111726410B (zh) 用于分散计算网络的可编程实时计算和网络负载感知方法
CN101183994A (zh) 一种网络通信数据流信息统计系统及方法
CN113377051B (zh) 一种基于fpga的网络安全防护设备
Lukashin et al. Distributed packet trace processing method for information security analysis
CN115150278A (zh) 使用数据处理单元(dpu)作为基于图形处理单元(gpu)的机器学习的预处理器
KR100862727B1 (ko) 트래픽 분석 방법 및 그 시스템
CN209913856U (zh) 一种基于zynq的网络数据安全分析辅助设备
Ficara et al. A cooperative PC/Network-Processor architecture for multi gigabit traffic analysis
CN114826775B (zh) 数据包的过滤规则生成方法及装置、系统、设备和介质
Kamamura et al. Fast xFlow proxy: Exploring and visualizing deep inside of carrier traffic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination