CN114363253B - 一种基于混合链路的双向ip资源的筛选方法及系统 - Google Patents
一种基于混合链路的双向ip资源的筛选方法及系统 Download PDFInfo
- Publication number
- CN114363253B CN114363253B CN202111589275.XA CN202111589275A CN114363253B CN 114363253 B CN114363253 B CN 114363253B CN 202111589275 A CN202111589275 A CN 202111589275A CN 114363253 B CN114363253 B CN 114363253B
- Authority
- CN
- China
- Prior art keywords
- bidirectional
- ipb
- ipa
- hash
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012216 screening Methods 0.000 title claims abstract description 15
- 238000010276 construction Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/74—Address processing for routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/74—Address processing for routing
- H04L45/745—Address table lookup; Address filtering
- H04L45/7453—Address table lookup; Address filtering using hashing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于混合链路的双向IP资源的筛选方法及系统,设计了一种两级hash表的查找结构,可以在32G内存消耗下,实现亿级IP资源的存储、亿级链路资源的存储、亿级链路方向的存储;在较低内存消耗下,高效快速实现单个目的IP地址资源的存在性确定、源目的IP组成的链路资源的存在性确定、指定源IP到指定目的IP的链路方向的存在性确定。
Description
技术领域
本发明涉及INTERNET管理技术领域,尤其是一种基于混合链路的双向IP资源的筛选方法及系统。
背景技术
定制网络设备串接在承载网路由器之间,或者旁路并接到承载网的路由器线路上,完成对网络流量的初步分析。部分场景下,接入设备的同一条链路中,可能同时有上行或下行流量存在,为了区分进入设备的报文是否是一条双向流量的一部分,定制设备需要先形成一个双向IP(即一对IP地址A和B,该链路中既存在A到B的流量,又存在B到A的流量)资源池,将入包源目的IP和资源池里的表项进行匹配,当匹配成功时,即可以确定本次入包属于一个双向流量的一部分,本包发往目的端后,响应包也会经过定制设备所在的分光节点,如果能够从整条链路中筛选出所有的成对IP资源,将有助于分析整个网络的拓扑及特定源目的IP之间的交互关系。
发明内容
本发明所要解决的技术问题在于,提供一种基于混合链路的双向IP资源的筛选方法及系统,能够实现双向IP链路资源的管理和存储。
为解决上述技术问题,本发明提供一种基于混合链路的双向IP资源的筛选方法及系统,包括如下步骤:
步骤S1:预先进行单向IP及双向IP HASH表的创建;
步骤S2:单个IP报文进入多核处理设备后,根据报文目的IPB查单IP HASH存储表,如果表项不存在,执行步骤S3;如果表项存在,执行步骤S4;
步骤S3:进行表项新建,以IPB为key值申请一个单IP表表项挂入HASHx管理,以IPA+IPB为key值申请一个双向IP表表项,并将双向IP表表项,挂入IPB为key值的单IP表表项下的源IP链中,同时挂入双向IP HASH表HASHy进行管理;
步骤S4:遍历目的IPB的源IP链进行查找,如果已经存在IPA,则为重复包,结束处理流程;若源IP链没有IPA,执行步骤S5;
步骤S5:新建双向IP表,将该表项挂入源IP链,同时挂入双向IP HASH表HASHy进行管理;
步骤S6:根据送入的IP对,进行双向判断,即以IPB+IPA为key值查找双向IP HASH表HASHy;如果IPB+IPA对应的表项存在,证明已经存在IPB到IPA方向的流程,执行步骤S7;如果IPB+IPA对应的表项不存在,则结束处理流程;
步骤S7:加上本次到达的流量为IPA到IPB方向,将IP对作为双向IP资源加入双向IP资源池。
优选的,步骤S2中,单个IP报文包括源IPA和目的IPB。
优选的,步骤S5中,双向IP表的key值为IPA+IPB。
相应的,一种基于混合链路的双向IP资源的筛选系统,包括:表项构建模块、流量预处理模块和双向资源池构建模块;表项构建模块根据问题规模,预先为单IP的HASH存储表Hashx,双向IP的HASH存储表Hashy,进行内存预申请及统一的内存申请接口构建;单个IP报文进入多核处理设备后,流量预处理模块根据报文目的IPB查单IP HASH存储表,之后根据查询结果进行不同逻辑处理;双向资源池构建模块根据送入的IP对,进行双向判断,构建双向IP资源池。
优选的,单个IP报文包括源IPA和目的IPB。
优选的,送入的IP对为IPA+IPB。
本发明的有益效果为:(1)存储效率方面,设计了一种两级hash表的查找结构,可以在32G内存消耗下,实现亿级IP资源的存储、亿级链路资源的存储、亿级链路方向的存储;(2)处理性能方面,在较低内存消耗下,高效快速(us级)实现单个目的IP地址资源的存在性确定、源目的IP组成的链路资源的存在性确定、指定源IP到指定目的IP的链路方向的存在性确定。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
如图1所示,一种基于混合链路的双向IP资源的筛选方法,包括如下步骤:
步骤S1:预先进行单向IP及双向IP HASH表的创建;
步骤S2:单个IP报文(源IPA,目的IPB)进入多核处理设备后,根据报文目的IPB查单IP HASH存储表,如果表项不存在,执行步骤S3;如果表项存在,执行步骤S4;
步骤S3:进行表项新建,以IPB为key值申请一个单IP表表项挂入HASHx管理,以IPA+IPB为key值申请一个双向IP表表项,并将双向IP表表项,挂入IPB为key值的单IP表表项下的源IP链中,同时挂入双向IP HASH表HASHy进行管理;
步骤S4:遍历目的IPB的源IP链进行查找,如果已经存在IPA,则为重复包,结束处理流程;若源IP链没有IPA,执行步骤S5;
步骤S5:新建双向IP表(key值为IPA+IPB),将该表项挂入源IP链,同时挂入双向IPHASH表HASHy进行管理;
步骤S6:根据送入的IP对(IPA+IPB),进行双向判断,即以IPB+IPA为key值查找双向IP HASH表HASHy;如果IPB+IPA对应的表项存在,证明已经存在IPB到IPA方向的流程,执行步骤S7;如果IPB+IPA对应的表项不存在,则结束处理流程;
步骤S7:加上本次到达的流量为IPA到IPB方向,将IP对【IPA,IPB】作为双向IP资源加入双向IP资源池。
与本发明方法所对应的系统,包括如下模块:
a、表项构建模块,根据问题规模,预先为单IP的HASH存储表Hashx,双向IP的HASH存储表Hashy,进行内存预申请及统一的内存申请接口构建;
b、流量预处理模块,单个IP报文(源IPA,目的IPB)进入多核处理设备后,根据报文目的IPB查单IP HASH存储表,之后根据查询结果进行不同逻辑处理;
c、双向资源池构建模块,根据送入的IP对(IPA+IPB),进行双向判断,构建双向IP资源池。
本发明针对从混合链路进入定制设备的流量,利用特定设计的IP资源池,实现双向IP链路资源的管理和存储。
Claims (6)
1.一种基于混合链路的双向IP资源的筛选方法,其特征在于,包括如下步骤:
步骤S1:预先进行单向IP及双向IP HASH表的创建;
步骤S2:单个IP报文进入多核处理设备后,根据报文目的IPB查单IP HASH存储表,如果表项不存在,执行步骤S3;如果表项存在,执行步骤S4;
步骤S3:进行表项新建,以IPB为key值申请一个单IP表表项挂入HASHx管理,以IPA+IPB为key值申请一个双向IP表表项,并将双向IP表表项,挂入IPB为key值的单IP表表项下的源IP链中,同时挂入双向IP HASH表HASHy进行管理;
步骤S4:遍历目的IPB的源IP链进行查找,如果已经存在IPA,则为重复包,结束处理流程;若源IP链没有IPA,执行步骤S5;
步骤S5:新建双向IP表,将该表项挂入源IP链,同时挂入双向IP HASH表HASHy进行管理;
步骤S6:根据送入的IP对,进行双向判断,即以IPB+IPA为key值查找双向IP HASH表HASHy;如果IPB+IPA对应的表项存在,证明已经存在IPB到IPA方向的流程,执行步骤S7;如果IPB+IPA对应的表项不存在,则结束处理流程;
步骤S7:加上本次到达的流量为IPA到IPB方向,将IP对作为双向IP资源加入双向IP资源池。
2.如权利要求1所述的基于混合链路的双向IP资源的筛选方法,其特征在于,步骤S2中,单个IP报文包括源IPA和目的IPB。
3.如权利要求1所述的基于混合链路的双向IP资源的筛选方法,其特征在于,步骤S5中,双向IP表的key值为IPA+IPB。
4.一种实施如权利要求1所述的基于混合链路的双向IP资源的筛选方法的系统,其特征在于,包括:表项构建模块、流量预处理模块和双向资源池构建模块;表项构建模块根据问题规模,预先为单IP的HASH存储表Hashx,双向IP的HASH存储表Hashy,进行内存预申请及统一的内存申请接口构建;单个IP报文进入多核处理设备后,流量预处理模块根据报文目的IPB查单IP HASH存储表,之后根据查询结果进行不同逻辑处理;双向资源池构建模块根据送入的IP对,进行双向判断,构建双向IP资源池。
5.如权利要求4所述的基于混合链路的双向IP资源的筛选系统,其特征在于,单个IP报文包括源IPA和目的IPB。
6.如权利要求4所述的基于混合链路的双向IP资源的筛选系统,其特征在于,送入的IP对为IPA+IPB。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111589275.XA CN114363253B (zh) | 2021-12-23 | 2021-12-23 | 一种基于混合链路的双向ip资源的筛选方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111589275.XA CN114363253B (zh) | 2021-12-23 | 2021-12-23 | 一种基于混合链路的双向ip资源的筛选方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114363253A CN114363253A (zh) | 2022-04-15 |
CN114363253B true CN114363253B (zh) | 2024-04-02 |
Family
ID=81100524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111589275.XA Active CN114363253B (zh) | 2021-12-23 | 2021-12-23 | 一种基于混合链路的双向ip资源的筛选方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114363253B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102780627A (zh) * | 2012-07-31 | 2012-11-14 | 深圳市共进电子股份有限公司 | 一种Linux内核协议栈网桥数据转发方法 |
CN105553695A (zh) * | 2015-12-08 | 2016-05-04 | 南阳理工学院 | 一种基于两级双向哈希链表的ip数据流管理方法 |
CN108270602A (zh) * | 2016-12-30 | 2018-07-10 | 中兴通讯股份有限公司 | 一种数据链路的检测方法、装置及系统 |
CN111245726A (zh) * | 2019-12-27 | 2020-06-05 | 国家计算机网络与信息安全管理中心 | 一种ip网段高效匹配的实现方法 |
CN112787931A (zh) * | 2019-11-06 | 2021-05-11 | 华为技术有限公司 | 报文传输方法、代理节点及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180109454A1 (en) * | 2016-10-18 | 2018-04-19 | Cisco Technology, Inc. | Forwarding information base architecture for a hybrid ip and content centric network router |
-
2021
- 2021-12-23 CN CN202111589275.XA patent/CN114363253B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102780627A (zh) * | 2012-07-31 | 2012-11-14 | 深圳市共进电子股份有限公司 | 一种Linux内核协议栈网桥数据转发方法 |
CN105553695A (zh) * | 2015-12-08 | 2016-05-04 | 南阳理工学院 | 一种基于两级双向哈希链表的ip数据流管理方法 |
CN108270602A (zh) * | 2016-12-30 | 2018-07-10 | 中兴通讯股份有限公司 | 一种数据链路的检测方法、装置及系统 |
CN112787931A (zh) * | 2019-11-06 | 2021-05-11 | 华为技术有限公司 | 报文传输方法、代理节点及存储介质 |
CN111245726A (zh) * | 2019-12-27 | 2020-06-05 | 国家计算机网络与信息安全管理中心 | 一种ip网段高效匹配的实现方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114363253A (zh) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3082304B1 (en) | Service routing method and system | |
CN104348716B (zh) | 一种报文处理方法及设备 | |
CN108768866B (zh) | 组播报文跨卡转发方法、装置、网络设备及可读存储介质 | |
CN107196807A (zh) | 网络中间设备及其部署方法 | |
CN102377640B (zh) | 一种报文处理装置和报文处理方法、及预处理器 | |
CN101340293B (zh) | 一种报文安全检查方法和装置 | |
CN102075511A (zh) | 一种数据匹配设备和方法以及网络入侵检测设备和方法 | |
CN107959715B (zh) | 基于无线通讯的远程终端信息识别软件方法 | |
CN101123614B (zh) | 一种处理地址解析协议报文的方法及通信装置 | |
CN102739457A (zh) | 一种基于dpi和svm技术的网络流量识别系统及方法 | |
CN106126383A (zh) | 一种日志处理方法和装置 | |
CN105162703B (zh) | 基于混合协议的多级网络拓扑智能发现及生成方法和系统 | |
CN103399871B (zh) | 获取一个主域名相关联的二级域名信息的设备和方法 | |
CN103763198A (zh) | 一种数据包分类方法 | |
CN105471747A (zh) | 一种智能路由器选路方法和装置 | |
CN102014065A (zh) | 报文包头的解析方法、包头解析预处理装置和网络处理器 | |
CN114363253B (zh) | 一种基于混合链路的双向ip资源的筛选方法及系统 | |
CN107733716A (zh) | 分布式文件系统日志分析方法、系统、设备及存储介质 | |
CN100493042C (zh) | 可扩展路由器系统控制平面中高性能的节点间通信方法 | |
CN103200084A (zh) | 基于网络处理器的报文预处理方法、装置及网络处理器 | |
CN114006831B (zh) | 报文数据处理方法及装置 | |
KR20170040325A (ko) | 서비스 노드 능력 처리 방법, 장치, 서비스 분류기 및 서비스 제어기 | |
CN101848091B (zh) | 数据查找处理方法及系统 | |
CN1630275A (zh) | 用于前向传输以太网信息包的网络单元 | |
US10462017B2 (en) | Network property verification in hybrid networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |