CN104539549A - 一种基于高密度网络流量的数据报文处理方法 - Google Patents
一种基于高密度网络流量的数据报文处理方法 Download PDFInfo
- Publication number
- CN104539549A CN104539549A CN201410839902.4A CN201410839902A CN104539549A CN 104539549 A CN104539549 A CN 104539549A CN 201410839902 A CN201410839902 A CN 201410839902A CN 104539549 A CN104539549 A CN 104539549A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- message
- high density
- switching system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提供一种基于高密度网络流量的数据报文处理方法，本发明的技术方案是：一种基于高密度网络流量的数据报文处理方法，该方法包括高密度报文物理处理交换系统与高密度报文逻辑处理交换系统，所述的高密度报文物理处理交换系统流程包括，当用户发生网络访问行为时，所产生的上网行为数据报文通过其所连接的网络进行传输；该网络由用户使用端、交换机与互联网组成；用户使用端通过交换机的交换系统分配连接于互联网上；本发明的有益效果是，由于采用上述技术方案，本方法完全采用网络光复用原理(即分光模式)进行(也可以兼容端口镜像的方式)，因光传输设备不受网络交换机的端口理论最大速度所限制，因此该系统采用上下级分发模式。
Description
技术领域
本发明属于数据报文处理领域领域，尤其是涉及一种基于高密度网络流量的数据报文处理方法。
背景技术
现今为止，已知的网络行为检测系统都是以1000Mb网络结构为主，有极少数设备厂商可以开发10Gb网络检测系统，它的主要瓶颈就是10Gb乃至更高速的网络速度太快，在10Gb的网络情况下每秒钟通过网络流量的数据报文以标准1500字节计算大约是2000万个数据报文，当检测设备还无法分析与识别时，就被海量涌过来的数据报文所淹没往往一条数据没有分析处理完毕，其他数据就已经通过了，因此现有情况下各大信息安全厂商的10Gb检测系统也只是在1000Mb网络环境下稍作改动增加一个或若干个10Gb端口和简单的优化数据结构来实现的，然后经过实践证明，各大运营商的网络带宽是不断增长的，目前国内都是以三大运营商为主即，联通、电信、移动，面对这些省级骨干网络的运营商节点往往带宽都是以百G来计算的，换句话说，就是每秒钟要通过数以亿计的网络数据报文，面对如此庞大的高密度网络报文，现有的检测系统的设计和构架它所能承受的速度已经完全无法做到处理如此规模的网络结构，因此应运而生新的结构和模型急需被提出。
发明内容
本发明的目的是提供一种可以对应网络流量高密度的数据报文处理方法。
本发明的技术方案是，一种基于高密度网络流量的数据报文处理方法，该方法包括高密度报文物理处理交换系统与高密度报文逻辑处理交换系统，所述的高密度报文物理处理交换系统流程包括，当用户发生网络访问行为时，所产生的上网行为数据报文通过其所连接的网络进行传输；该网络由用户使用端、交换机与互联网组成；用户使用端通过交换机的交换系统分配连接于互联网上；用户使用端与交换机的链路之间设置高密度数据报文处理系统；高密度数据报文处理系统即可以完全采用网络光复用原理进行，也可以兼容端口镜像的模式；系统采用上下级分发模式，在不超过光端口的最大值的状态下无线接收和处理网络中传输的数据报文；
所述的高密度报文逻辑处理交换系统包括，采用多CPU核心并行列队高速缓存处理的处理原理；该处理原理的具体流程包括，
首先建立数据缓存空间，使用alloc_bootmem接口，使调用函数族在内存管理子系统slab启动前调用；设定主处理设备内存容量为32G的情况下，分配网络数据包缓冲区为12G；
而后建立hook数据包接收点，在网络数据包的统计接收点netif_receive_skb接口中添加一个自定义hook回调点netif_receive_skb_hook，实现该回调即可得到所有数据包；
然后插入数据接收模块，将缓冲区以CPU个数进行分区，每一块区域都是对应的CPU核心的局部缓冲区，由某CPU核心接收的数据包即存储在该CPU核心的对应缓冲区中；
最后建立数据分析过滤模块及高速数据对比算法，依次取CPU核心中一个局部缓冲区中的数据报文进行数据报文过滤分析；高速数据对比算法采用基于IP层的高速数据报文对比算法，所有虚拟队列缓存处理和高速比对算法都是在网络驱动层实现完毕，做到理论线性无延迟，再采用若干个数据并发处理引擎进行深度数据挖掘分析，当发现某一条数据报文中有异常时即可进行数据留存以便进行深度的数据挖掘分析。
高密度报文物理处理交换系统上有一张10Gb或更高速的网络端口适配器和若干台10Gb或1Gb的网络端口组成的并发处理引擎来组成；将主网络数据获取端口通过驱动编程将其设置为数据捕获模式，从而能够做到实时获取分光设备上的数据报文，根据多核心队列缓存的原理来确定数据有哪些，并指定发送到特定标记为空闲状态的网络端口上。
所述的核心处理设备群都存放在私有地址池中，所以无需考虑设备的安全性。
当高密度报文物理处理交换系统达到处理瓶颈时仅需增加若干台数据并发处理引擎即可对数据进行分流处理，并将其中的数据由若干台数据并发实时处理引擎进行分析处理。
本发明具有的优点和积极效果是：本方法完全采用网络光复用原理(即分光模式)进行(也可以兼容端口镜像的方式)，因光传输设备不受网络交换机的端口理论最大速度所限制，因此该系统采用上下级分发模式,从物理部署结构角度上来说理论上只要不超过光端口的最大值即可以无限接收和处理网络中传输的数据报文，通过并行发送的数据，在逻辑上又采用了多CPU核心并行队列高速缓存处理的处理原理，采用这种方法可以有效的减少数据报文的丢失，更高速和高效的处理网络中传输的数据报文，在数据比对方面又设计了一种基于IP层的高速数据报文比对算法，因所有虚拟队列缓存处理和高速比对算法都是在网络驱动层就实现完毕，因此几乎可做到线性无延迟，在采用若干个数据并发处理引擎进行深度数据挖掘分析，当发现某一条数据报文中有异常时即可进行数据留存以便进行深度的数据挖掘分析。因核心处理设备群都存放在私有地址池中，所以无需考虑设备的安全性。当高密度报文处理交换系统达到处理瓶颈时仅需增加若干台数据并发处理引擎即可对数据进行分流处理，并将其中的数据由若干台数据并发实时处理引擎进行分析处理。与传统的网络行为检测模型相比，这里提出的高密度报文处理交换系统的数据报文处理效率是传统行为分析系统处理效率的数倍乃至数十倍。
附图说明
图1是本发明实施例提供的一种基于高密度网络流量的数据报文处理方法的高密度报文物理处理交换系统流程示意图；
图2是本发明实施例提供的一种基于高密度网络流量的数据报文处理方法的高密度报文逻辑处理交换系统流程示意图。
具体实施方式
下面结合附图对本发明做详细说明。
参见图1，本发明实施例提供的一种基于高密度网络流量的数据报文处理方法的高密度报文物理处理交换系统流程，包括：
步骤101、用户产生上网行为，产生数据报文；
步骤102、用户的数据报文通过用户所在网络的采用网络光复用原理的交换系统；
步骤103、用户的数据报文到用户的使用端；
步骤104、用户的数据报文通过架设在交换系统与用户使用端之间的高密度数据报文处理系统进行数据报文的行为检测；
步骤105、高密度数据报文处理系统由若干数据并发引擎群进行基于CPU和物理网络适配器的高速队列缓存处理；
参见图2，本发明实施例一种基于高密度网络流量的数据报文处理方法的高密度报文逻辑处理交换系统流程，包括：
步骤201、建立数据缓存空间，使用alloc_bootmem接口，使调用函数族在内存管理子系统slab启动前调用；设定主处理设备内存容量为32G的情况下，分配网络数据包缓冲区为12G；
步骤202、建立hook数据包接收点，在网络数据包的统计接收点netif_receive_skb接口中添加一个自定义hook回调点netif_receive_skb_hook，实现该回调即可得到所有数据包；
步骤203、插入数据接收模块，将缓冲区以CPU个数进行分区，每一块区域都是对应的CPU核心的局部缓冲区，由某CPU核心接收的数据包即存储在该CPU核心的对应缓冲区中；
步骤204、建立数据分析过滤模块及高速数据对比算法，依次取CPU核心中一个局部缓冲区中的数据报文进行数据报文过滤分析；高速数据对比算法采用基于IP层的高速数据报文对比算法，所有虚拟队列缓存处理和高速比对算法都是在网络驱动层实现完毕，做到理论线性无延迟，再采用若干个数据并发处理引擎进行深度数据挖掘分析，当发现某一条数据报文中有异常时即可进行数据留存以便进行深度的数据挖掘分析；
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (4)
1.一种基于高密度网络流量的数据报文处理方法，该方法包括高密度报文物理处理交换系统与高密度报文逻辑处理交换系统，其特征在于：
所述的高密度报文物理处理交换系统流程包括，当用户发生网络访问行为时，所产生的上网行为数据报文通过其所连接的网络进行传输；该网络由用户使用端、交换机与互联网组成；用户使用端通过交换机的交换系统分配连接于互联网上；用户使用端与交换机的链路之间设置高密度数据报文处理系统；高密度数据报文处理系统即可以完全采用网络光复用原理进行，也可以兼容端口镜像的模式；系统采用上下级分发模式，在不超过光端口的最大值的状态下无线接收和处理网络中传输的数据报文；
所述的高密度报文逻辑处理交换系统包括，采用多CPU核心并行列队高速缓存处理的处理原理；该处理原理的具体流程包括，
首先建立数据缓存空间，使用alloc_bootmem接口，使调用函数族在内存管理子系统slab启动前调用；设定主处理设备内存容量为32G的情况下，分配网络数据包缓冲区为12G；
而后建立hook数据包接收点，在网络数据包的统计接收点netif_receive_skb接口中添加一个自定义hook回调点netif_receive_skb_hook，实现该回调即可得到所有数据包；
然后插入数据接收模块，将缓冲区以CPU个数进行分区，每一块区域都是对应的CPU核心的局部缓冲区，由某CPU核心接收的数据包即存储在该CPU核心的对应缓冲区中；
最后建立数据分析过滤模块及高速数据对比算法，依次取CPU核心中一个局部缓冲区中的数据报文进行数据报文过滤分析；高速数据对比算法采用基于IP层的高速数据报文对比算法，所有虚拟队列缓存处理和高速比对算法都是在网络驱动层实现完毕，做到理论线性无延迟，再采用若干个数据并发处理引擎进行深度数据挖掘分析，当发现某一条数据报文中有异常时即可进行数据留存以便进行深度的数据挖掘分析。
2.根据权利要求1所述的一种基于高密度网络流量的数据报文处理方法，其特征在于，高密度报文物理处理交换系统包括：
高密度报文物理处理交换系统上有一张10Gb或更高速的网络端口适配器和若干台10Gb或1Gb的网络端口组成的并发处理引擎来组成；将主网络数据获取端口通过驱动编程将其设置为数据捕获模式，从而能够做到实时获取分光设备上的数据报文，根据多核心队列缓存的原理来确定数据有哪些，并指定发送到特定标记为空闲状态的网络端口上。
3.根据权利要求1所述的一种基于高密度网络流量的数据报文处理方法，其特征在于：
所述的核心处理设备群都存放在私有地址池中，所以无需考虑设备的安全性。
4.根据权利要求1所述的高密度报文物理处理交换系统，其特征在于，当数据处理量达到峰值时的应变措施包括：
当高密度报文物理处理交换系统达到处理瓶颈时仅需增加若干台数据并发处理引擎即可对数据进行分流处理，并将其中的数据由若干台数据并发实时处理引擎进行分析处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410839902.4A CN104539549B (zh) | 2014-12-30 | 2014-12-30 | 一种基于高密度网络流量的数据报文处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410839902.4A CN104539549B (zh) | 2014-12-30 | 2014-12-30 | 一种基于高密度网络流量的数据报文处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104539549A true CN104539549A (zh) | 2015-04-22 |
| CN104539549B CN104539549B (zh) | 2018-01-02 |
Family
ID=52855018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410839902.4A Active CN104539549B (zh) | 2014-12-30 | 2014-12-30 | 一种基于高密度网络流量的数据报文处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104539549B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111726201A (zh) * | 2020-06-15 | 2020-09-29 | 哈工大机器人（合肥）国际创新研究院 | 一种airt-ros虚拟网卡丢包解决方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1450758A (zh) * | 2003-05-16 | 2003-10-22 | 上海金诺网络安全技术发展股份有限公司 | 高性能网络入侵检测系统和检测方法 |
| CN1564547A (zh) * | 2004-03-25 | 2005-01-12 | 上海复旦光华信息科技股份有限公司 | 保持连接特性的高速过滤分流方法 |
| CN1964322A (zh) * | 2006-11-24 | 2007-05-16 | 南京大学 | 一种基于np和bs的千兆nids并行处理的方法 |
| CN101834763A (zh) * | 2010-06-25 | 2010-09-15 | 山东大学 | 高速网络环境下多类型大流并行测量方法 |
| CN102404207A (zh) * | 2011-11-04 | 2012-04-04 | 中兴通讯股份有限公司 | 一种以太网数据的处理方法及装置 |
-
2014
- 2014-12-30 CN CN201410839902.4A patent/CN104539549B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1450758A (zh) * | 2003-05-16 | 2003-10-22 | 上海金诺网络安全技术发展股份有限公司 | 高性能网络入侵检测系统和检测方法 |
| CN1564547A (zh) * | 2004-03-25 | 2005-01-12 | 上海复旦光华信息科技股份有限公司 | 保持连接特性的高速过滤分流方法 |
| CN1964322A (zh) * | 2006-11-24 | 2007-05-16 | 南京大学 | 一种基于np和bs的千兆nids并行处理的方法 |
| CN101834763A (zh) * | 2010-06-25 | 2010-09-15 | 山东大学 | 高速网络环境下多类型大流并行测量方法 |
| CN102404207A (zh) * | 2011-11-04 | 2012-04-04 | 中兴通讯股份有限公司 | 一种以太网数据的处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 史志才，夏永祥: "高速网络环境下的入侵检测技术研究综述", 《计算机应用研究》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111726201A (zh) * | 2020-06-15 | 2020-09-29 | 哈工大机器人（合肥）国际创新研究院 | 一种airt-ros虚拟网卡丢包解决方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104539549B (zh) | 2018-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107347198B (zh) | 一种限速方法、限速控制节点和限速设备 | |
| CN105659542B (zh) | 数据传输控制方法、无源光网络设备及装置、无源光网络 | |
| CN104954497B (zh) | 一种云存储系统中数据传输方法和系统 | |
| CN103347221B (zh) | 一种针对EPON(Ethernet Passive Optical Network)的阀值讨论式节能方法 | |
| US10256639B2 (en) | Reverse power supply management method, apparatus and system | |
| CN102185725A (zh) | 一种缓存的管理方法、装置和网络交换设备 | |
| EP2608460B1 (en) | Method and device for sending messages | |
| CN111555974A (zh) | 一种数据包的处理方法、装置、终端设备和存储介质 | |
| CN115174490B (zh) | 一种数据传输方法及网络应用终端 | |
| CN102957626A (zh) | 一种报文转发方法和装置 | |
| CN105049115A (zh) | 一种基于epon的休眠方法及系统 | |
| CN103023803B (zh) | 一种以太网光纤通道虚拟链路的优化方法和系统 | |
| CN102984082A (zh) | 一种网络服务质量控制方法及装置 | |
| CN104009956B (zh) | 一种基于嵌入式多核协处理网闸系统的通信方法 | |
| CN104539549A (zh) | 一种基于高密度网络流量的数据报文处理方法 | |
| CN106385378A (zh) | 一种带内管理控制下控制报文的处理方法及装置 | |
| CN103152410B (zh) | 移动设备下载数据的方法及装置 | |
| CN104488236A (zh) | 带宽分配方法、装置、局端、终端和系统 | |
| CN107104964B (zh) | 一种网络安全终端及使用方法 | |
| WO2022116767A1 (zh) | 数据传输方法、用户设备及存储介质 | |
| WO2014169483A1 (zh) | 一种带宽分配的方法、设备及系统 | |
| CN104468409B (zh) | 一种基于非固定多线程轮询的动态带宽分配方法 | |
| CN107920026A (zh) | 基于物理端口实现的端口汇聚Trunk分流方法及装置 | |
| CN105471598A (zh) | 一种虚拟以太网端口归属单板动态分配方法及系统 | |
| CN103152128B (zh) | 基于对等通信流量触发的网络编码连接管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |