CN111211939A - 一种基于网络处理器实现流表高效计数的装置和方法 - Google Patents

一种基于网络处理器实现流表高效计数的装置和方法 Download PDF

Info

Publication number
CN111211939A
CN111211939A CN201911408290.2A CN201911408290A CN111211939A CN 111211939 A CN111211939 A CN 111211939A CN 201911408290 A CN201911408290 A CN 201911408290A CN 111211939 A CN111211939 A CN 111211939A
Authority
CN
China
Prior art keywords
flow
flow table
time
network processor
aging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911408290.2A
Other languages
English (en)
Inventor
李高超
于姝
邹昕
韩志前
张伟
于贵智
王晖
李佳
李政
陈国贺
陈训逊
戴丽
胡立洵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING SINOVATIO TECHNOLOGY CO LTD
National Computer Network and Information Security Management Center
Original Assignee
NANJING SINOVATIO TECHNOLOGY CO LTD
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING SINOVATIO TECHNOLOGY CO LTD, National Computer Network and Information Security Management Center filed Critical NANJING SINOVATIO TECHNOLOGY CO LTD
Priority to CN201911408290.2A priority Critical patent/CN111211939A/zh
Publication of CN111211939A publication Critical patent/CN111211939A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level

Abstract

本发明公开了一种基于网络处理器实现流表高效计数的装置和方法，流管理流量进入数据采集设备后，网络处理器进行流表学习，在计数器中写入流表学习时间戳，网络处理器通过计算时间差的方式对流表进行老化，从而提高流表的老化刷新精度和流表采集性能。

Description

一种基于网络处理器实现流表高效计数的装置和方法
技术领域
本发明涉及IP网络数据处理技术领域，尤其是一种基于网络处理器实现流表高效计数的装置和方法。
背景技术
随着互联网技术的飞速发展和网络带宽的增速扩容，网络系统规模逐渐增大，复杂性不断增加，网络中的新型应用日益增多。通过网络采集设备对应用数据进行采集并转发给后台分析服务器，对目前主流网络处理器在处理性能上是极大的挑战。如何提高网络处理器对海量数据的采集性能显得尤为重要。
发明内容
本发明所要解决的技术问题在于，提供一种基于网络处理器实现流表高效计数的装置和方法，能够提高流表的老化刷新精度和流表采集性能。
为解决上述技术问题，本发明提供一种基于网络处理器实现流表高效计数的装置，包括：流表建立模块，通过提取流量的五元组信息完成流表的建立；流表更新模块，主要通过更改流表时间进行流表的更新；流表老化模块，通过计算时间差进行流表的老化。
优选的，当流管理流量进入数据采集设备后，网络处理器分别提取流量的源IP、目的IP、协议号、源端口、目的端口作为流表项的key值；将当前流表建立时间写入result字段指定的计数器中。
优选的，当流管理表项刷新流量，即五元组信息匹配流表表项的流量进入数据采集设备后，网络处理器分别提取流量的五元组进行流表匹配，若流量匹配流表项该条流的输出总量未达到N值，则输出该报文，同时更新流表时间戳，即将当前时间写入计数器；若该条流输出总量已达到N值，则仅更新流表时间戳。
优选的，当网络处理器收到流表老化消息时，会分别读取当前时间和流表指定计数器中存储的时间，计算两者的时间差并与流表配置的老化时间比较，若大于等于老化时间则将表项老化，否则不处理流表项。
相应的，一种基于网络处理器实现流表高效计数的方法，包括如下步骤：
(1)用户登陆设备，在设备上打开流管理、配置老化时间；
(2)流量从接口进入采集设备，网络处理器判断是否需要进行流管理，若流量需要进行流管理，执行步骤(3)；若不需要进行流管理，执行步骤(6)；
(3)网络处理器进行流表学习，将流量五元组信息写入key值，将流表学习时间写入计数器；
(4)当有匹配五元组的流量进入采集设备时，网络处理器会更新流表项的学习时间戳；
(5)当网络处理器收到老化消息时，会计算当前时间与流表项学习时间戳的时间差，若大于等于老化时间则删除流表；否则，继续等待下一个老化消息；
(6)流量进行业务处理。
本发明的有益效果为：本发明中，流管理流量进入数据采集设备后，网络处理器进行流表学习，在计数器中写入流表学习时间戳，网络处理器通过计算时间差的方式对流表进行老化，从而提高流表的老化刷新精度和流表采集性能。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
一种基于网络处理器实现流表高效计数的装置，包括：
流表建立模块，主要通过提取流量的五元组信息完成流表的建立。
当流管理流量进入数据采集设备后，网络处理器分别提取流量的源IP、目的IP、协议号、源端口、目的端口作为流表项的key值；将当前流表建立时间写入result字段指定的计数器中。
流表更新模块，主要通过更改流表时间进行流表的更新。
当流管理表项刷新流量，即五元组信息匹配流表表项的流量进入数据采集设备后，网络处理器分别提取流量的五元组进行流表匹配，若流量匹配流表项该条流的输出总量未达到N值，则输出该报文，同时更新流表时间戳，即将当前时间写入计数器；若该条流输出总量已达到N值，则仅更新流表时间戳。
流表老化模块，主要通过计算时间差进行流表的老化。
当网络处理器收到流表老化消息时，会分别读取当前时间和流表指定计数器中存储的时间，计算两者的时间差并与流表配置的老化时间比较，若大于等于老化时间则将表项老化，否则不处理流表项。
一种基于网络处理器实现流表高效计数的方法，包括如下步骤：
步骤S1：用户登陆设备，在设备上打开流管理、配置老化时间；
步骤S2：流量从接口进入采集设备，网络处理器判断是否需要进行流管理。若流量需要进行流管理，执行步骤S3；若不需要进行流管理，执行步骤S6；
步骤S3：网络处理器进行流表学习，将流量五元组信息写入key值，将流表学习时间写入计数器；
步骤S4：当有匹配五元组的流量进入采集设备时，网络处理器会更新流表项的学习时间戳；
步骤S5：当网络处理器收到老化消息时，会计算当前时间与流表项学习时间戳的时间差，若大于等于老化时间则删除流表；否则，继续等待下一个老化消息；
步骤S6：流量进行业务处理。
本发明通过引入时间戳的机制，将流表创建时间写入计数器，当处理器收到老化消息时，计算当前时间和流表创建时间的差值，若达到设置的老化时间则将该流表老化，否则等待下一个老化消息；若处理器收到流表刷新报文，则更新时间戳。
流量进入数据采集设备后，网络处理器首先判断是否需要进行流管理采样输出，若需要，则将流信息写入流表，流表key字段记录流量五元组，rusult字段指定计数器地址，将流表学习时间戳写入计数器。当采集设备收到后续报文时，不需要重新学习流表，只需要更新计数器中流表项的学习时间戳，从而大大提高了设备的采样性能。
当网络处理器收到驱动发送的老化消息时，首先读取计数器中存储的流表学习时间，然后与当前时间进行差值计算，将时间差与设备配置的老化时间进行比较，若达到老化时间则将流表老化，提高了设备的老化精度，从而提高流表计数性能。
本发明中，流管理流量进入数据采集设备后，网络处理器进行流表学习，在计数器中写入流表学习时间戳，网络处理器通过计算时间差的方式对流表进行老化，从而提高流表的老化刷新精度和流表采集性能。

Claims (5)

1.一种基于网络处理器实现流表高效计数的装置，其特征在于，包括：流表建立模块，通过提取流量的五元组信息完成流表的建立；流表更新模块，主要通过更改流表时间进行流表的更新；流表老化模块，通过计算时间差进行流表的老化。
2.如权利要求1所述的基于网络处理器实现流表高效计数的装置，其特征在于，当流管理流量进入数据采集设备后，网络处理器分别提取流量的源IP、目的IP、协议号、源端口、目的端口作为流表项的key值；将当前流表建立时间写入result字段指定的计数器中。
3.如权利要求1所述的基于网络处理器实现流表高效计数的装置，其特征在于，当流管理表项刷新流量，即五元组信息匹配流表表项的流量进入数据采集设备后，网络处理器分别提取流量的五元组进行流表匹配，若流量匹配流表项该条流的输出总量未达到N值，则输出该报文，同时更新流表时间戳，即将当前时间写入计数器；若该条流输出总量已达到N值，则仅更新流表时间戳。
4.如权利要求1所述的基于网络处理器实现流表高效计数的装置，其特征在于，当网络处理器收到流表老化消息时，会分别读取当前时间和流表指定计数器中存储的时间，计算两者的时间差并与流表配置的老化时间比较，若大于等于老化时间则将表项老化，否则不处理流表项。
5.一种基于网络处理器实现流表高效计数的方法，其特征在于，包括如下步骤：
(1)用户登陆设备，在设备上打开流管理、配置老化时间；
(2)流量从接口进入采集设备，网络处理器判断是否需要进行流管理，若流量需要进行流管理，执行步骤(3)；若不需要进行流管理，执行步骤(6)；
(3)网络处理器进行流表学习，将流量五元组信息写入key值，将流表学习时间写入计数器；
(4)当有匹配五元组的流量进入采集设备时，网络处理器会更新流表项的学习时间戳；
(5)当网络处理器收到老化消息时，会计算当前时间与流表项学习时间戳的时间差，若大于等于老化时间则删除流表；否则，继续等待下一个老化消息；
(6)流量进行业务处理。
CN201911408290.2A 2019-12-31 2019-12-31 一种基于网络处理器实现流表高效计数的装置和方法 Pending CN111211939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911408290.2A CN111211939A (zh) 2019-12-31 2019-12-31 一种基于网络处理器实现流表高效计数的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911408290.2A CN111211939A (zh) 2019-12-31 2019-12-31 一种基于网络处理器实现流表高效计数的装置和方法

Publications (1)

Publication Number Publication Date
CN111211939A true CN111211939A (zh) 2020-05-29

Family

ID=70787038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911408290.2A Pending CN111211939A (zh) 2019-12-31 2019-12-31 一种基于网络处理器实现流表高效计数的装置和方法

Country Status (1)

Country Link
CN (1) CN111211939A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112134806A (zh) * 2020-09-30 2020-12-25 新华三大数据技术有限公司 一种流表老化时间调整方法、装置及存储介质
WO2023143274A1 (zh) * 2022-01-30 2023-08-03 阿里巴巴（中国）有限公司 一种对流表中的流表项处理的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941716A (zh) * 2005-09-30 2007-04-04 杭州华为三康技术有限公司 应用流量统计方法及装置和应用流量统计系统
CN104468381A (zh) * 2014-12-01 2015-03-25 国家计算机网络与信息安全管理中心 一种多域流规则匹配的实现方法
WO2015085491A1 (zh) * 2013-12-10 2015-06-18 华为技术有限公司 一种流表的生成方法和装置
CN104753931A (zh) * 2015-03-18 2015-07-01 中国人民解放军信息工程大学 一种基于正则表达式的深度报文检测方法
CN106506270A (zh) * 2016-11-03 2017-03-15 杭州华三通信技术有限公司 一种ping报文处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941716A (zh) * 2005-09-30 2007-04-04 杭州华为三康技术有限公司 应用流量统计方法及装置和应用流量统计系统
WO2015085491A1 (zh) * 2013-12-10 2015-06-18 华为技术有限公司 一种流表的生成方法和装置
CN104468381A (zh) * 2014-12-01 2015-03-25 国家计算机网络与信息安全管理中心 一种多域流规则匹配的实现方法
CN104753931A (zh) * 2015-03-18 2015-07-01 中国人民解放军信息工程大学 一种基于正则表达式的深度报文检测方法
CN106506270A (zh) * 2016-11-03 2017-03-15 杭州华三通信技术有限公司 一种ping报文处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112134806A (zh) * 2020-09-30 2020-12-25 新华三大数据技术有限公司 一种流表老化时间调整方法、装置及存储介质
CN112134806B (zh) * 2020-09-30 2022-04-01 新华三大数据技术有限公司 一种流表老化时间调整方法、装置及存储介质
WO2023143274A1 (zh) * 2022-01-30 2023-08-03 阿里巴巴（中国）有限公司 一种对流表中的流表项处理的方法及装置

Similar Documents

Publication Publication Date Title
US20200374306A1 (en) Network traffic anomaly detection method, apparatus, computer device and storage medium
CN114157502B (zh) 一种终端识别方法、装置、电子设备及存储介质
CN105302885B (zh) 一种全文数据的提取方法和装置
EP3282643A1 (en) Method and apparatus of estimating conversation in a distributed netflow environment
CN111211939A (zh) 一种基于网络处理器实现流表高效计数的装置和方法
CN110191109B (zh) 一种报文采样方法及装置
CN105513099A (zh) 一种骨骼动画数据的压缩方法及装置
KR20190101374A (ko) 고속 분석을 위한 네트워크 트래픽 준비 시스템
CN109275045B (zh) 基于dfi的移动端加密视频广告流量识别方法
CN113162818A (zh) 一种分布式流量采集分析的实现方法及系统
CN108132986B (zh) 一种飞行器海量传感器试验数据的快速处理方法
CN110765195A (zh) 一种数据解析方法、装置、存储介质及电子设备
CN114398520A (zh) 数据检索方法、系统、装置、电子设备及存储介质
CN108011936B (zh) 用于推送信息的方法和装置
CN102984242A (zh) 一种应用协议的自动识别方法和装置
CN114925286B (zh) 舆情数据处理方法及装置
WO2023029066A1 (zh) 流式数据的特征提取方法及装置、存储介质、计算机设备
WO2020098347A1 (zh) 信息生成方法、装置和系统
CN105634999B (zh) 一种介质访问控制地址的老化方法及装置
CN109492655B (zh) 一种特征提取方法、装置及终端
CN109800271A (zh) 一种基于大数据的信息采集方法
CN110263082B (zh) 数据库的数据分布分析方法、装置、电子设备及存储介质
CN113973111A (zh) 数据转发方法、装置、网关设备及计算机可读存储介质
CN110309141B (zh) 一种直播间数据量统计方法、存储介质、设备及系统
CN114422389B (zh) 一种基于哈希和硬件加速的高速实时网络数据监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200529

RJ01 Rejection of invention patent application after publication