CN114363253B - 一种基于混合链路的双向ip资源的筛选方法及系统 - Google Patents

一种基于混合链路的双向ip资源的筛选方法及系统 Download PDF

Info

Publication number
CN114363253B
CN114363253B CN202111589275.XA CN202111589275A CN114363253B CN 114363253 B CN114363253 B CN 114363253B CN 202111589275 A CN202111589275 A CN 202111589275A CN 114363253 B CN114363253 B CN 114363253B
Authority
CN
China
Prior art keywords
bidirectional
ipb
ipa
hash
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111589275.XA
Other languages
English (en)
Other versions
CN114363253A (zh
Inventor
邹昕
孙加敏
李竞飞
于贵智
张伟
陈国贺
李高超
韩志前
李政
戴丽
陈训逊
严伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING SINOVATIO TECHNOLOGY CO LTD
Original Assignee
NANJING SINOVATIO TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING SINOVATIO TECHNOLOGY CO LTD filed Critical NANJING SINOVATIO TECHNOLOGY CO LTD
Priority to CN202111589275.XA priority Critical patent/CN114363253B/zh
Publication of CN114363253A publication Critical patent/CN114363253A/zh
Application granted granted Critical
Publication of CN114363253B publication Critical patent/CN114363253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H04L45/745—Address table lookup; Address filtering
    • H04L45/7453—Address table lookup; Address filtering using hashing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于混合链路的双向IP资源的筛选方法及系统，设计了一种两级hash表的查找结构，可以在32G内存消耗下，实现亿级IP资源的存储、亿级链路资源的存储、亿级链路方向的存储；在较低内存消耗下，高效快速实现单个目的IP地址资源的存在性确定、源目的IP组成的链路资源的存在性确定、指定源IP到指定目的IP的链路方向的存在性确定。

Description

一种基于混合链路的双向IP资源的筛选方法及系统
技术领域
本发明涉及INTERNET管理技术领域，尤其是一种基于混合链路的双向IP资源的筛选方法及系统。
背景技术
定制网络设备串接在承载网路由器之间，或者旁路并接到承载网的路由器线路上，完成对网络流量的初步分析。部分场景下，接入设备的同一条链路中，可能同时有上行或下行流量存在，为了区分进入设备的报文是否是一条双向流量的一部分，定制设备需要先形成一个双向IP(即一对IP地址A和B，该链路中既存在A到B的流量，又存在B到A的流量)资源池，将入包源目的IP和资源池里的表项进行匹配，当匹配成功时，即可以确定本次入包属于一个双向流量的一部分，本包发往目的端后，响应包也会经过定制设备所在的分光节点，如果能够从整条链路中筛选出所有的成对IP资源，将有助于分析整个网络的拓扑及特定源目的IP之间的交互关系。
发明内容
本发明所要解决的技术问题在于，提供一种基于混合链路的双向IP资源的筛选方法及系统，能够实现双向IP链路资源的管理和存储。
为解决上述技术问题，本发明提供一种基于混合链路的双向IP资源的筛选方法及系统，包括如下步骤：
步骤S1：预先进行单向IP及双向IP HASH表的创建；
步骤S2：单个IP报文进入多核处理设备后，根据报文目的IPB查单IP HASH存储表，如果表项不存在，执行步骤S3；如果表项存在，执行步骤S4；
步骤S3：进行表项新建，以IPB为key值申请一个单IP表表项挂入HASHx管理，以IPA+IPB为key值申请一个双向IP表表项，并将双向IP表表项，挂入IPB为key值的单IP表表项下的源IP链中，同时挂入双向IP HASH表HASHy进行管理；
步骤S4：遍历目的IPB的源IP链进行查找，如果已经存在IPA，则为重复包，结束处理流程；若源IP链没有IPA，执行步骤S5；
步骤S5：新建双向IP表，将该表项挂入源IP链，同时挂入双向IP HASH表HASHy进行管理；
步骤S6：根据送入的IP对，进行双向判断，即以IPB+IPA为key值查找双向IP HASH表HASHy；如果IPB+IPA对应的表项存在，证明已经存在IPB到IPA方向的流程，执行步骤S7；如果IPB+IPA对应的表项不存在，则结束处理流程；
步骤S7：加上本次到达的流量为IPA到IPB方向，将IP对作为双向IP资源加入双向IP资源池。
优选的，步骤S2中，单个IP报文包括源IPA和目的IPB。
优选的，步骤S5中，双向IP表的key值为IPA+IPB。
相应的，一种基于混合链路的双向IP资源的筛选系统，包括：表项构建模块、流量预处理模块和双向资源池构建模块；表项构建模块根据问题规模，预先为单IP的HASH存储表Hashx，双向IP的HASH存储表Hashy，进行内存预申请及统一的内存申请接口构建；单个IP报文进入多核处理设备后，流量预处理模块根据报文目的IPB查单IP HASH存储表，之后根据查询结果进行不同逻辑处理；双向资源池构建模块根据送入的IP对，进行双向判断，构建双向IP资源池。
优选的，单个IP报文包括源IPA和目的IPB。
优选的，送入的IP对为IPA+IPB。
本发明的有益效果为：(1)存储效率方面，设计了一种两级hash表的查找结构，可以在32G内存消耗下，实现亿级IP资源的存储、亿级链路资源的存储、亿级链路方向的存储；(2)处理性能方面，在较低内存消耗下，高效快速(us级)实现单个目的IP地址资源的存在性确定、源目的IP组成的链路资源的存在性确定、指定源IP到指定目的IP的链路方向的存在性确定。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
如图1所示，一种基于混合链路的双向IP资源的筛选方法，包括如下步骤：
步骤S1：预先进行单向IP及双向IP HASH表的创建；
步骤S2：单个IP报文(源IPA，目的IPB)进入多核处理设备后，根据报文目的IPB查单IP HASH存储表，如果表项不存在，执行步骤S3；如果表项存在，执行步骤S4；
步骤S3：进行表项新建，以IPB为key值申请一个单IP表表项挂入HASHx管理，以IPA+IPB为key值申请一个双向IP表表项，并将双向IP表表项，挂入IPB为key值的单IP表表项下的源IP链中，同时挂入双向IP HASH表HASHy进行管理；
步骤S4：遍历目的IPB的源IP链进行查找，如果已经存在IPA，则为重复包，结束处理流程；若源IP链没有IPA，执行步骤S5；
步骤S5：新建双向IP表(key值为IPA+IPB)，将该表项挂入源IP链，同时挂入双向IPHASH表HASHy进行管理；
步骤S6：根据送入的IP对(IPA+IPB)，进行双向判断，即以IPB+IPA为key值查找双向IP HASH表HASHy；如果IPB+IPA对应的表项存在，证明已经存在IPB到IPA方向的流程，执行步骤S7；如果IPB+IPA对应的表项不存在，则结束处理流程；
步骤S7：加上本次到达的流量为IPA到IPB方向，将IP对【IPA，IPB】作为双向IP资源加入双向IP资源池。
与本发明方法所对应的系统，包括如下模块：
a、表项构建模块，根据问题规模，预先为单IP的HASH存储表Hashx，双向IP的HASH存储表Hashy，进行内存预申请及统一的内存申请接口构建；
b、流量预处理模块，单个IP报文(源IPA，目的IPB)进入多核处理设备后，根据报文目的IPB查单IP HASH存储表，之后根据查询结果进行不同逻辑处理；
c、双向资源池构建模块，根据送入的IP对(IPA+IPB)，进行双向判断，构建双向IP资源池。
本发明针对从混合链路进入定制设备的流量，利用特定设计的IP资源池，实现双向IP链路资源的管理和存储。

Claims (6)

1.一种基于混合链路的双向IP资源的筛选方法，其特征在于，包括如下步骤：
步骤S1：预先进行单向IP及双向IP HASH表的创建；
步骤S2：单个IP报文进入多核处理设备后，根据报文目的IPB查单IP HASH存储表，如果表项不存在，执行步骤S3；如果表项存在，执行步骤S4；
步骤S3：进行表项新建，以IPB为key值申请一个单IP表表项挂入HASHx管理，以IPA+IPB为key值申请一个双向IP表表项，并将双向IP表表项，挂入IPB为key值的单IP表表项下的源IP链中，同时挂入双向IP HASH表HASHy进行管理；
步骤S4：遍历目的IPB的源IP链进行查找，如果已经存在IPA，则为重复包，结束处理流程；若源IP链没有IPA，执行步骤S5；
步骤S5：新建双向IP表，将该表项挂入源IP链，同时挂入双向IP HASH表HASHy进行管理；
步骤S6：根据送入的IP对，进行双向判断，即以IPB+IPA为key值查找双向IP HASH表HASHy；如果IPB+IPA对应的表项存在，证明已经存在IPB到IPA方向的流程，执行步骤S7；如果IPB+IPA对应的表项不存在，则结束处理流程；
步骤S7：加上本次到达的流量为IPA到IPB方向，将IP对作为双向IP资源加入双向IP资源池。
2.如权利要求1所述的基于混合链路的双向IP资源的筛选方法，其特征在于，步骤S2中，单个IP报文包括源IPA和目的IPB。
3.如权利要求1所述的基于混合链路的双向IP资源的筛选方法，其特征在于，步骤S5中，双向IP表的key值为IPA+IPB。
4.一种实施如权利要求1所述的基于混合链路的双向IP资源的筛选方法的系统，其特征在于，包括：表项构建模块、流量预处理模块和双向资源池构建模块；表项构建模块根据问题规模，预先为单IP的HASH存储表Hashx，双向IP的HASH存储表Hashy，进行内存预申请及统一的内存申请接口构建；单个IP报文进入多核处理设备后，流量预处理模块根据报文目的IPB查单IP HASH存储表，之后根据查询结果进行不同逻辑处理；双向资源池构建模块根据送入的IP对，进行双向判断，构建双向IP资源池。
5.如权利要求4所述的基于混合链路的双向IP资源的筛选系统，其特征在于，单个IP报文包括源IPA和目的IPB。
6.如权利要求4所述的基于混合链路的双向IP资源的筛选系统，其特征在于，送入的IP对为IPA+IPB。
CN202111589275.XA 2021-12-23 2021-12-23 一种基于混合链路的双向ip资源的筛选方法及系统 Active CN114363253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111589275.XA CN114363253B (zh) 2021-12-23 2021-12-23 一种基于混合链路的双向ip资源的筛选方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111589275.XA CN114363253B (zh) 2021-12-23 2021-12-23 一种基于混合链路的双向ip资源的筛选方法及系统

Publications (2)

Publication Number Publication Date
CN114363253A CN114363253A (zh) 2022-04-15
CN114363253B true CN114363253B (zh) 2024-04-02

Family

ID=81100524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111589275.XA Active CN114363253B (zh) 2021-12-23 2021-12-23 一种基于混合链路的双向ip资源的筛选方法及系统

Country Status (1)

Country Link
CN (1) CN114363253B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780627A (zh) * 2012-07-31 2012-11-14 深圳市共进电子股份有限公司 一种Linux内核协议栈网桥数据转发方法
CN105553695A (zh) * 2015-12-08 2016-05-04 南阳理工学院 一种基于两级双向哈希链表的ip数据流管理方法
CN108270602A (zh) * 2016-12-30 2018-07-10 中兴通讯股份有限公司 一种数据链路的检测方法、装置及系统
CN111245726A (zh) * 2019-12-27 2020-06-05 国家计算机网络与信息安全管理中心 一种ip网段高效匹配的实现方法
CN112787931A (zh) * 2019-11-06 2021-05-11 华为技术有限公司 报文传输方法、代理节点及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180109454A1 (en) * 2016-10-18 2018-04-19 Cisco Technology, Inc. Forwarding information base architecture for a hybrid ip and content centric network router

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780627A (zh) * 2012-07-31 2012-11-14 深圳市共进电子股份有限公司 一种Linux内核协议栈网桥数据转发方法
CN105553695A (zh) * 2015-12-08 2016-05-04 南阳理工学院 一种基于两级双向哈希链表的ip数据流管理方法
CN108270602A (zh) * 2016-12-30 2018-07-10 中兴通讯股份有限公司 一种数据链路的检测方法、装置及系统
CN112787931A (zh) * 2019-11-06 2021-05-11 华为技术有限公司 报文传输方法、代理节点及存储介质
CN111245726A (zh) * 2019-12-27 2020-06-05 国家计算机网络与信息安全管理中心 一种ip网段高效匹配的实现方法

Also Published As

Publication number Publication date
CN114363253A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
EP3082304B1 (en) Service routing method and system
CN104348716B (zh) 一种报文处理方法及设备
CN102075511B (zh) 一种数据匹配设备和方法以及网络入侵检测设备和方法
CN108768866B (zh) 组播报文跨卡转发方法、装置、网络设备及可读存储介质
CN107196807A (zh) 网络中间设备及其部署方法
CN102739457B (zh) 一种基于dpi和svm技术的网络流量识别方法
CN102377640B (zh) 一种报文处理装置和报文处理方法、及预处理器
CN101340293B (zh) 一种报文安全检查方法和装置
CN103647716A (zh) 一种数据包快速转发方法及装置
CN101123614B (zh) 一种处理地址解析协议报文的方法及通信装置
CN107959715B (zh) 基于无线通讯的远程终端信息识别软件方法
CN106126383A (zh) 一种日志处理方法和装置
CN105162703B (zh) 基于混合协议的多级网络拓扑智能发现及生成方法和系统
CN109474713B (zh) 报文转发方法和装置
CN103763198A (zh) 一种数据包分类方法
CN105471747A (zh) 一种智能路由器选路方法和装置
CN102014065A (zh) 报文包头的解析方法、包头解析预处理装置和网络处理器
CN114363253B (zh) 一种基于混合链路的双向ip资源的筛选方法及系统
CN100493042C (zh) 可扩展路由器系统控制平面中高性能的节点间通信方法
CN103200084A (zh) 基于网络处理器的报文预处理方法、装置及网络处理器
CN114006831B (zh) 报文数据处理方法及装置
CN101848091B (zh) 数据查找处理方法及系统
CN1630275A (zh) 用于前向传输以太网信息包的网络单元
US10462017B2 (en) Network property verification in hybrid networks
CN106130800B (zh) 一种数据帧的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant