CN114449046B - 一种网络数据处理方法及系统 - Google Patents

一种网络数据处理方法及系统 Download PDF

Info

Publication number
CN114449046B
CN114449046B CN202210134483.9A CN202210134483A CN114449046B CN 114449046 B CN114449046 B CN 114449046B CN 202210134483 A CN202210134483 A CN 202210134483A CN 114449046 B CN114449046 B CN 114449046B
Authority
CN
China
Prior art keywords
network data
cache
convolution
convolution calculation
hit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210134483.9A
Other languages
English (en)
Other versions
CN114449046A (zh
Inventor
汪海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Xinzhi Information Technology Co ltd
Original Assignee
Jiangsu Xinzhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Xinzhi Information Technology Co ltd filed Critical Jiangsu Xinzhi Information Technology Co ltd
Priority to CN202210134483.9A priority Critical patent/CN114449046B/zh
Publication of CN114449046A publication Critical patent/CN114449046A/zh
Application granted granted Critical
Publication of CN114449046B publication Critical patent/CN114449046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/54—Organization of routing tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H04L47/805—QOS or priority aware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

一种网络数据处理方法及系统，从网络数据包的指定位置提取待匹配的特征字段；在高速缓存中对提取的特征字段进行匹配操作，判断是否命中高速缓存的条目，如果命中，将查询结果复制一份进行统计；如果没有命中，则在大容量存储中对提取的特征字段进行匹配操作，大容量存储匹配命中后，将查询结果复制一份进行统计；按照预设的卷积运算周期触发对统计结果的卷积计算，输出卷积计算结果；对卷积计算结果根据预设阈值截取指定的元素重新排序；根据重新排序结果，从大容量存储中获取对应的条目信息，并对高速缓存中条目进行更新。本发明提高网络数据流特征查询匹配的速度，针对大量的网络数据流或者需要实现服务质量保障的数据流可以得到优先处理。

Description

一种网络数据处理方法及系统
技术领域
本发明涉及一种网络数据处理方法及系统，属于网络数据处理技术领域。
背景技术
网络是用物理链路将各个孤立的工作站或主机相连在一起，组成数据链路，从而达到资源共享和通信的目的。通信是人与人之间通过某种媒体进行的信息交流与传递。网络通信是通过网络将各个孤立的设备进行连接，通过信息交换实现人与人，人与计算机，计算机与计算机之间的通信。流经网络的一切都可以被归类为数据包中所包含数据的一部分，一个网络数据包或IP包可以被称为一个数据单元，在互联网或分组交换网络内从原点流向目标地址。
目前，IP网络设备在接收到数据包后，都存在大量的查询匹配的操作，例如路由表、3元组、5元组等。在高速网络通信应用场景时，通常实现数据特征快速匹配需要采用TCAM、FPGA等硬件实现方式，一方面由于TCAM、FPGA等比较昂贵，另一方面此类器件可存储的条目数量受限等，所以要满足大容量、高性能两方面性能需求时，会增加网络设备系统的硬件成本和设计复杂度。
发明内容
为此，本发明提供一种网络数据处理方法及系统，实现网络数据包快速匹配和优先处理，提高网络数据处理效率，降低硬件成本投入。
为了实现上述目的，本发明提供如下技术方案：一种网络数据处理方法，包括以下步骤：
获取输入的网络数据包，从所述网络数据包的指定位置提取待匹配的特征字段；
在高速缓存中对提取的所述特征字段进行匹配操作，判断是否命中高速缓存的条目，a)如果命中高速缓存的条目，将查询结果复制一份进行统计；b)如果没有命中高速缓存的条目，则在大容量存储中对提取的所述特征字段进行匹配操作，大容量存储匹配命中后，将查询结果复制一份进行统计；
按照预设的卷积运算周期触发对统计结果的卷积计算，输出卷积计算结果；
对卷积计算结果根据预设阈值截取指定的元素，对截取的元素重新排序；
根据重新排序结果，从大容量存储中获取对应的条目信息，并对高速缓存中条目进行更新。
作为网络数据处理方法的优选方案，在获取输入的网络数据包之前进行卷积计算模型构建，构建的卷积计算模型为：
RΔt[n]＝FΔt[n，m]P[m]
其中，n为待统计网络数据流的个数，m为统计窗口长度，Δt为卷积运算周期，FΔt[n，m]为网络数据包历史数据矩阵，P[m]为卷积核，RΔt[n]为卷积模型输出。
作为网络数据处理方法的优选方案，查询结果统计过程中，根据设定窗口大小以及卷积运算周期，对匹配完成的网络数据包进行统计，生成当期统计数据矩阵作为卷积计算模型的输入。
作为网络数据处理方法的优选方案，在获取输入的网络数据包之前，初始化大容量存储，将所有待匹配的条目数据写入大容量存储；初始化网络数据包历史数据矩阵FΔt[n，m]；初始化卷积核P[m]；初始化预设阈值。
作为网络数据处理方法的优选方案，预设阈值根据硬件容量进行计算和设置，预设阈值为高速缓存、大容量存储最大存储的条目数；
对卷积计算结果中大于预设阈值的元素标记为优先处理条目。
本发明还提供一种网络数据处理系统，采用上述的网络数据处理方法，包括：
特征提取模块，用于获取输入的网络数据包，从所述网络数据包的指定位置提取待匹配的特征字段；
第一特征匹配模块，用于在高速缓存中对提取的所述特征字段进行匹配操作，判断是否命中高速缓存的条目；
第二特征匹配模块，用于如果没有命中高速缓存的条目，则在大容量存储中对提取的所述特征字段进行匹配操作；
统计模块，用于如果命中高速缓存的条目，或大容量存储匹配命中后，将查询结果复制一份进行统计；
卷积计算模块，用于按照预设的卷积运算周期触发对统计结果的卷积计算，输出卷积计算结果；
管理控制模块，用于对卷积计算结果根据预设阈值截取指定的元素，对截取的元素重新排序；还用于根据重新排序结果，从大容量存储中获取对应的条目信息，并对高速缓存中条目进行更新。
作为网络数据处理系统的优选方案，还包括模型构建模块，用于在获取输入的网络数据包之前进行卷积计算模型构建，构建的卷积计算模型为：
RΔt[n]＝FΔt[n，m]P[m]
其中，n为待统计网络数据流的个数，m为统计窗口长度，Δt为卷积运算周期，FΔt[n，m]为网络数据包历史数据矩阵，P[m]为卷积核，RΔt[n]为卷积模型输出。
作为网络数据处理系统的优选方案，所述统计模块中，根据设定窗口大小以及卷积运算周期，对匹配完成的网络数据包进行统计，生成当期统计数据矩阵作为卷积计算模型的输入。
作为网络数据处理系统的优选方案，还包括初始化模块，用于在获取输入的网络数据包之前，初始化大容量存储，将所有待匹配的条目数据写入大容量存储；初始化网络数据包历史数据矩阵FΔt[n，m]；初始化卷积核P[m]；初始化预设阈值。
作为网络数据处理系统的优选方案，所述管理控制模块中，预设阈值根据硬件容量进行计算和设置，预设阈值为高速缓存、大容量存储最大存储的条目数；
对卷积计算结果中大于预设阈值的元素标记为优先处理条目。
本发明具有如下优点：获取输入的网络数据包，从网络数据包的指定位置提取待匹配的特征字段；在高速缓存中对提取的特征字段进行匹配操作，判断是否命中高速缓存的条目，如果命中高速缓存的条目，将查询结果复制一份进行统计；如果没有命中高速缓存的条目，则在大容量存储中对提取的特征字段进行匹配操作，大容量存储匹配命中后，将查询结果复制一份进行统计；按照预设的卷积运算周期触发对统计结果的卷积计算，输出卷积计算结果；对卷积计算结果根据预设阈值截取指定的元素，对截取的元素重新排序；根据重新排序结果，从大容量存储中获取对应的条目信息，并对高速缓存中条目进行更新。本发明通过对网络设备中当期流量进行统计，并对统计结果进行卷积计算，根据计算结果动态的优化调整高速缓存中特征的条目，提高网络数据流特征查询匹配的速度，尤其针对大量的网络数据流或者需要实现服务质量保障的数据流可以得到优先处理；应用网络设备上时，不需要增加额外的硬件配置，可用于提高路由转发、DNS查询、QoS控制、安全策略匹配处理效率。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例1中提供的网络数据处理方法流程示意图；
图2为本发明实施例1中提供的网络数据处理方法技术路线示意图；
图3为本发明实施例2中提供的网络数据处理系统示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1和图2，本发明实施例1提供一种网络数据处理方法，包括以下步骤：
S1、获取输入的网络数据包，从所述网络数据包的指定位置提取待匹配的特征字段；
S2、在高速缓存中对提取的所述特征字段进行匹配操作，判断是否命中高速缓存的条目，a)如果命中高速缓存的条目，将查询结果复制一份进行统计；b)如果没有命中高速缓存的条目，则在大容量存储中对提取的所述特征字段进行匹配操作，大容量存储匹配命中后，将查询结果复制一份进行统计；
S3、按照预设的卷积运算周期触发对统计结果的卷积计算，输出卷积计算结果；
S4、对卷积计算结果根据预设阈值截取指定的元素，对截取的元素重新排序；
S5、根据重新排序结果，从大容量存储中获取对应的条目信息，并对高速缓存中条目进行更新。
本实施例中，高速缓存可由TCAM或者CPU高级缓存实现，实现数据包特征快速匹配，查询到数据包后续处理方式。大容量存储可由DDR、SRAM等大容量存储实现，用于存储所有待匹配的特征数据条目，当高速缓存不能命中时，查询大容量存储得到数据包的后续处理方式。
本实施例中，在获取输入的网络数据包之前进行卷积计算模型构建，构建的卷积计算模型为：
RΔt[n]＝FΔt[n，m]P[m]
其中，n为待统计网络数据流的个数，比如n个需要匹配3元组特征的网络数据流；
m为统计窗口长度，比如是一段固定的时间，或者是系统接收到指定数量的网络数据包，可作为系统参数进行设定；
Δt为卷积运算周期；
FΔt[n，m]为网络数据包历史数据矩阵，包含在统计窗口中所接收到的数据包到达频数和间隔，统计窗口随着卷积运算周期而持续向前移动；
P[m]为卷积核，能够计算具有指定特征的高概率出现的网络数据流，可作为系统参数预先设置，与统计窗口长度m相适应；
RΔt[n]为卷积模型输出。
本实施例中，预设阈值根据硬件容量进行计算和设置，预设阈值为高速缓存、大容量存储最大存储的条目数；对卷积计算结果中大于预设阈值的元素标记为优先处理条目。
具体的，对RΔt[n]数据中大于某个预设阈值Kmax(可以根据硬件容量进行计算和设置，比如高速缓存、TCAM可以最大存储的条目数k)的元素A[k]进行标记为优先处理条目，并对A[k]按照元素值大小(命中概率高低)进行排序A’[k]，把A’[k]对应的网络数据特征及控制处理数据写入处理系统的高速缓存，在下一运算周期中可以实现具有此类特征的数据包快速匹配和优先处理，能显著提高处理系统网络数据处理效率。
本实施例中，查询结果统计过程中，根据设定窗口大小以及卷积运算周期，对匹配完成的网络数据包进行统计，生成当期统计数据矩阵作为卷积计算模型的输入。
辅助图2，本实施例中网络数据处理流程如下：
1、在获取输入的网络数据包之前，初始化大容量存储，将所有待匹配的条目数据写入大容量存储；初始化网络数据包历史数据矩阵FΔt[n，m]；初始化卷积核P[m]；初始化预设阈值；
2、接收网络数据包的输入；
3、从接收到的网络数据包中指定位置提取待匹配的特征字段；
4、在高速缓存中执行对所提取的特征字段进行匹配的操作；
5、判断是否命中高速缓存的条目，如果已经命中将查询结果复制一份执行7进行统计，没有命中则继续执行6；
6、在大容量存储执行对所提取的特征字段进行匹配的操作，命中后将查询结果复制一份执行7进行统计；
7、对查询结果进行统计FΔt[n，m]；
8、根据确定的卷积运输周期Δt触发对统计结果的卷积计算，输出RΔt[n]；
9、对卷积计算结果进行处理，根据预设阈值Kmax截取特定的元素A[k]，并重新排序A’[k]；
10、根据重新排序的结果A’[k]，从大容量存储中获取对应的条目信息，对高速缓存中条目进行更新。
本发明应用网络设备上时，不需要增加额外的硬件配置，可用于提高路由转发、DNS查询、QoS控制、安全策略匹配处理效率；本发明如应用在处理路由表查询时，匹配网络数据流的特征是3元组；如应用在网络防火墙策略查询时，匹配网络数据流的特征是5元组等。卷积计算模型的输出随着网络流量的变化以及时间推移而自动调整，可以适应网络热点流量的变化；网络数据包统计和卷积计算量不大，没有特殊要求，可以由软件实现，也可以由硬件实现；通过调整卷积核即可实现系统数据处理的优先级控制。
综上所述，本发明通过获取输入的网络数据包，从网络数据包的指定位置提取待匹配的特征字段；在高速缓存中对提取的特征字段进行匹配操作，判断是否命中高速缓存的条目，如果命中高速缓存的条目，将查询结果复制一份进行统计；如果没有命中高速缓存的条目，则在大容量存储中对提取的特征字段进行匹配操作，大容量存储匹配命中后，将查询结果复制一份进行统计；按照预设的卷积运算周期触发对统计结果的卷积计算，输出卷积计算结果；对卷积计算结果根据预设阈值截取指定的元素，对截取的元素重新排序；根据重新排序结果，从大容量存储中获取对应的条目信息，并对高速缓存中条目进行更新。本发明通过对网络设备中当期流量进行统计，并对统计结果进行卷积计算，根据计算结果动态的优化调整高速缓存中特征的条目，提高网络数据流特征查询匹配的速度，尤其针对大量的网络数据流或者需要实现服务质量保障的数据流可以得到优先处理。
实施例2
参见图2，本发明实施例2还提供一种网络数据处理系统，采用实施例1或其任意可能实现方式的网络数据处理方法，包括：
特征提取模块1，用于获取输入的网络数据包，从所述网络数据包的指定位置提取待匹配的特征字段；
第一特征匹配模块2，用于在高速缓存中对提取的所述特征字段进行匹配操作，判断是否命中高速缓存的条目；
第二特征匹配模块3，用于如果没有命中高速缓存的条目，则在大容量存储中对提取的所述特征字段进行匹配操作；
统计模块4，用于如果命中高速缓存的条目，或大容量存储匹配命中后，将查询结果复制一份进行统计；
卷积计算模块5，用于按照预设的卷积运算周期触发对统计结果的卷积计算，输出卷积计算结果；
管理控制模块6，用于对卷积计算结果根据预设阈值截取指定的元素，对截取的元素重新排序；还用于根据重新排序结果，从大容量存储中获取对应的条目信息，并对高速缓存中条目进行更新。
本实施例中，高速缓存可由TCAM或者CPU高级缓存实现，实现数据包特征快速匹配，查询到数据包后续处理方式。大容量存储可由DDR、SRAM等大容量存储实现，用于存储所有待匹配的特征数据条目，当高速缓存不能命中时，查询大容量存储得到数据包的后续处理方式。
本实施例中，还包括模型构建模块7，用于在获取输入的网络数据包之前进行卷积计算模型构建，构建的卷积计算模型为：
RΔt[n]＝FΔt[n，m]P[m]
其中，n为待统计网络数据流的个数，比如n个需要匹配3元组特征的网络数据流；
m为统计窗口长度，比如是一段固定的时间，或者是系统接收到指定数量的网络数据包，可作为系统参数进行设定；
Δt为卷积运算周期；
FΔt[n，m]为网络数据包历史数据矩阵，包含在统计窗口中所接收到的数据包到达频数和间隔，统计窗口随着卷积运算周期而持续向前移动；
P[m]为卷积核，能够计算具有指定特征的高概率出现的网络数据流，可作为系统参数预先设置，与统计窗口长度m相适应；
RΔt[n]为卷积模型输出。
本实施例中，所述统计模块4中，根据设定窗口大小以及卷积运算周期，对匹配完成的网络数据包进行统计，生成当期统计数据矩阵作为卷积计算模型的输入。
本实施例中，还包括初始化模块8，用于在获取输入的网络数据包之前，初始化大容量存储，将所有待匹配的条目数据写入大容量存储；初始化网络数据包历史数据矩阵FΔt[n，m]；初始化卷积核P[m]；初始化预设阈值。
本实施例中，所述管理控制模块6中，预设阈值根据硬件容量进行计算和设置，预设阈值为高速缓存、大容量存储最大存储的条目数；
对卷积计算结果中大于预设阈值的元素标记为优先处理条目。
具体的，对RΔt[n]数据中大于某个预设阈值Kmax(可以根据硬件容量进行计算和设置，比如高速缓存、TCAM可以最大存储的条目数k)的元素A[k]进行标记为优先处理条目，并对A[k]按照元素值大小(命中概率高低)进行排序A’[k]，把A’[k]对应的网络数据特征及控制处理数据写入处理系统的高速缓存，在下一运算周期中可以实现具有此类特征的数据包快速匹配和优先处理，能显著提高处理系统网络数据处理效率。
本实施例2中网络数据处理流程如下：
1、在获取输入的网络数据包之前，初始化大容量存储，将所有待匹配的条目数据写入大容量存储；初始化网络数据包历史数据矩阵FΔt[n，m]；初始化卷积核P[m]；初始化预设阈值；
2、接收网络数据包的输入；
3、从接收到的网络数据包中指定位置提取待匹配的特征字段；
4、在高速缓存中执行对所提取的特征字段进行匹配的操作；
5、判断是否命中高速缓存的条目，如果已经命中将查询结果复制一份执行7进行统计，没有命中则继续执行6；
6、在大容量存储执行对所提取的特征字段进行匹配的操作，命中后将查询结果复制一份执行7进行统计；
7、对查询结果进行统计FΔt[n，m]；
8、根据确定的卷积运输周期Δt触发对统计结果的卷积计算，输出RΔt[n]；
9、对卷积计算结果进行处理，根据预设阈值Kmax截取特定的元素A[k]，并重新排序A’[k]；
10、根据重新排序的结果A’[k]，从大容量存储中获取对应的条目信息，对高速缓存中条目进行更新。
需要说明的是，上述系统各模块/单元之间的信息交互、执行过程等内容，由于与本申请实施例1中的方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质，所述计算机可读存储介质中存储有网络数据处理方法的程序代码，所述程序代码包括用于执行实施例1或其任意可能实现方式的网络数据处理方法的指令。
计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(SolidState Disk、SSD))等。
实施例4
本发明实施例4提供一种电子设备，包括：存储器和处理器；
所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行实施例1或其任意可能实现方式的网络数据处理方法。
具体的，处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于所述处理器之外，独立存在。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (4)

1.一种网络数据处理方法，其特征在于，包括以下步骤：
获取输入的网络数据包，从所述网络数据包的指定位置提取待匹配的特征字段；
在获取输入的网络数据包之前进行卷积计算模型构建，构建的卷积计算模型为：
RΔt[n]＝FΔt[n，m]P[m]
其中，n为待统计网络数据流的个数，m为统计窗口长度，Δt为卷积运算周期，FΔt[n，m]为网络数据包历史数据矩阵，P[m]为卷积核，RΔt[n]为卷积模型输出；
在获取输入的网络数据包之前，初始化大容量存储，将所有待匹配的条目数据写入大容量存储；初始化网络数据包历史数据矩阵FΔt[n，m]；初始化卷积核P[m]；初始化预设阈值；
在高速缓存中对提取的所述特征字段进行匹配操作，判断是否命中高速缓存的条目，a)如果命中高速缓存的条目，将查询结果复制一份进行统计；b)如果没有命中高速缓存的条目，则在大容量存储中对提取的所述特征字段进行匹配操作，大容量存储匹配命中后，将查询结果复制一份进行统计；
查询结果统计过程中，根据设定窗口大小以及卷积运算周期，对匹配完成的网络数据包进行统计，生成当期统计数据矩阵作为卷积计算模型的输入；
按照预设的卷积运算周期触发对统计结果的卷积计算，输出卷积计算结果；
对卷积计算结果根据预设阈值截取指定的元素，对截取的元素重新排序；
根据重新排序结果，从大容量存储中获取对应的条目信息，并对高速缓存中条目进行更新。
2.根据权利要求1所述的一种网络数据处理方法，其特征在于，预设阈值根据硬件容量进行计算和设置，预设阈值为高速缓存、大容量存储最大存储的条目数；
对卷积计算结果中大于预设阈值的元素标记为优先处理条目。
3.一种网络数据处理系统，采用权利要求1至2任一项的网络数据处理方法，其特征在于，包括：
模型构建模块，用于在获取输入的网络数据包之前进行卷积计算模型构建，构建的卷积计算模型为：
RΔt[n]＝FΔt[n，m]P[m]
其中，n为待统计网络数据流的个数，m为统计窗口长度，Δt为卷积运算周期，FΔt[n，m]为网络数据包历史数据矩阵，P[m]为卷积核，RΔt[n]为卷积模型输出；
初始化模块，用于在获取输入的网络数据包之前，初始化大容量存储，将所有待匹配的条目数据写入大容量存储；初始化网络数据包历史数据矩阵FΔt[n，m]；初始化卷积核P[m]；初始化预设阈值；
特征提取模块，用于获取输入的网络数据包，从所述网络数据包的指定位置提取待匹配的特征字段；
第一特征匹配模块，用于在高速缓存中对提取的所述特征字段进行匹配操作，判断是否命中高速缓存的条目；
第二特征匹配模块，用于如果没有命中高速缓存的条目，则在大容量存储中对提取的所述特征字段进行匹配操作；
统计模块，用于如果命中高速缓存的条目，或大容量存储匹配命中后，将查询结果复制一份进行统计；所述统计模块中，根据设定窗口大小以及卷积运算周期，对匹配完成的网络数据包进行统计，生成当期统计数据矩阵作为卷积计算模型的输入；
卷积计算模块，用于按照预设的卷积运算周期触发对统计结果的卷积计算，输出卷积计算结果；
管理控制模块，用于对卷积计算结果根据预设阈值截取指定的元素，对截取的元素重新排序；还用于根据重新排序结果，从大容量存储中获取对应的条目信息，并对高速缓存中条目进行更新。
4.根据权利要求3所述的一种网络数据处理系统，其特征在于，所述管理控制模块中，预设阈值根据硬件容量进行计算和设置，预设阈值为高速缓存、大容量存储最大存储的条目数；
对卷积计算结果中大于预设阈值的元素标记为优先处理条目。
CN202210134483.9A 2022-02-14 2022-02-14 一种网络数据处理方法及系统 Active CN114449046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210134483.9A CN114449046B (zh) 2022-02-14 2022-02-14 一种网络数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210134483.9A CN114449046B (zh) 2022-02-14 2022-02-14 一种网络数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN114449046A CN114449046A (zh) 2022-05-06
CN114449046B true CN114449046B (zh) 2023-04-11

Family

ID=81374257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210134483.9A Active CN114449046B (zh) 2022-02-14 2022-02-14 一种网络数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN114449046B (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361296B (zh) * 2014-11-14 2017-03-15 武汉烽火网络有限责任公司 一种并行的大容量访问控制列表的查找方法
CN107729053B (zh) * 2017-10-17 2020-11-27 安徽皖通邮电股份有限公司 一种实现高速缓存表的方法

Also Published As

Publication number Publication date
CN114449046A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
US8799507B2 (en) Longest prefix match searches with variable numbers of prefixes
US9749226B2 (en) Flow-based network switching system
Shah et al. Maintaining statistics counters in router line cards
US8854996B2 (en) Accelerating data packet parsing
US8619766B2 (en) Method and apparatus for classifying packets
US8176300B2 (en) Method and apparatus for content based searching
US20020156908A1 (en) Data structures for efficient processing of IP fragmentation and reassembly
US8555374B2 (en) High performance packet processing using a general purpose processor
US20120287782A1 (en) Programmable and high performance switch for data center networks
US11502967B2 (en) Methods and apparatuses for packet scheduling for software-defined networking in edge computing environment
CN115917520A (zh) 用于通过分布式算法为可编程数据平面提供lpm实现的系统
US20050172058A1 (en) Multi-protocol bus system and method of operation thereof
CN110912826A (zh) 利用acl扩充ipfix表项的方法及装置
CN115917473A (zh) 用分布式lpm实现的高度可扩展算法构建数据结构的系统
US7680978B1 (en) Reducing content addressable memory (CAM) power consumption counters
CN110519180B (zh) 网卡虚拟化队列调度方法及系统
WO2020168563A1 (zh) 一种存储器的管理方法及装置
CN114449046B (zh) 一种网络数据处理方法及系统
CN113783794A (zh) 拥塞控制方法和装置
US7289455B2 (en) Network statistics
US6889278B1 (en) Method and apparatus for fast acknowledgement and efficient servicing of interrupt sources coupled to high latency paths
CN112532610B (zh) 一种基于tcp分段的入侵防御检测方法及装置
US7340570B2 (en) Engine for comparing a key with rules having high and low values defining a range
EP4027594A1 (en) Information processing device, information processing method, and information processing program
WO2024037243A1 (zh) 一种数据处理方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant