CN105610655A - 一种路由器流量监控与分析方法 - Google Patents
一种路由器流量监控与分析方法 Download PDFInfo
- Publication number
- CN105610655A CN105610655A CN201610135229.5A CN201610135229A CN105610655A CN 105610655 A CN105610655 A CN 105610655A CN 201610135229 A CN201610135229 A CN 201610135229A CN 105610655 A CN105610655 A CN 105610655A
- Authority
- CN
- China
- Prior art keywords
- polymerization
- message
- thread
- aggregation
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 16
- 238000012544 monitoring process Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000006116 polymerization reaction Methods 0.000 claims description 51
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 abstract 8
- 238000004220 aggregation Methods 0.000 abstract 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/50—Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/60—Router architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种路由器流量监控与分析方法，该方法步骤如下：初始化Socket接口和缓冲区，快速的接受NetFlow报文，缓存到第一级缓存；创建解析线程，将原始报文进行解析，将报文信息对象化，并缓存到第二级缓存；预先定义维度聚合规则，并初始化不同维度的聚合程序，对同一个报文，所有的聚合器都要按照自己的维度进行一次累计；聚合主程序做线程等待的任务，任务结束时，重新创建所有维度的聚合，并开始下一个时间周期的聚合任务；业务域聚合程序将初级聚合后的数据，再进行深度的聚合；？通过DPL服务，将数据文件入库。本发明可以实现流量在业务域之间的分类统计；可以分析哪些应用产生的流量大；可以分析出更多的，更有价值的信息。
Description
技术领域
本发明涉及电信网络管理技术领域，具体地说是一种路由器流量监控与分析方法。
背景技术
对于任何IP网络来说，对网络流量进行监测，分析网络流量特性，了解用户的网络行为，对网络突发事件或未来的网络升级都有非常现实的指导意义。
网络流量分析 (Network Traffic Analyzer)通过捕获并分析网络中传输的数据包，有效反映网络通讯状况，帮助网络管理人员快速准确排查、定位网络故障，解决网络故障，从而提高网络性能，规避网络安全风险，增强网络可用性价值。
NETFLOW技术的出现，为做网络流量分析提供了可能。NetFlow技术最早是于1996年由思科公司的Darren Kerr和Barry Bruins发明的，并于同年5月注册为美国专利。NetFlow技术首先被用于网络设备对数据交换进行加速，并可同步实现对高速转发的IP数据流(Flow)进行测量和统计。经过多年的技术演进，NetFlow原来用于数据交换加速的功能已经逐步由网络设备中的专用ASIC芯片实现，而对流经网络设备的IP数据流进行特征分析和测量的功能也已更加成熟，成为了当今互联网领域公认的最主要的IP/MPLS流量分析和计量行业标准，同时也被广泛用于网络安全管理。利用NetFlow技术能对IP/MPLS网络的通信流量进行详细的行为模式分析和计量，并提供网络运行的准确统计数据，这些功能都是运营商在进行网络安全管理时实现异常通信流量检测和参数定性分析所必需的。
NetFlow定义了Flow 7元组，包括：
Ø 源IP地址（Source IP address）
Ø 目的IP地址（Destination IP address）
Ø 源端口号（Source port number）
Ø 目的端口号（Destination port number）
Ø 协议类型（Protocol type）
Ø 服务类型（Type of service）
Ø 输入/输出接口（Input/Output interface）
这为实现网络流量的统计提供了可能。
发明内容
本发明的技术任务是提供一种路由器流量监控与分析方法。
本发明的技术任务是按以下方式实现的，该方法步骤如下：
1）初始化Socket接口和缓冲区，快速的接受NetFlow报文，经过处理之后，缓存到第一级缓存；
2）创建解析线程，将原始报文进行解析，将报文信息对象化，并缓存到第二级缓存；
3）预先定义维度聚合规则，并初始化不同维度的聚合程序，由分发器将报文对象分到不同聚合器聚合，对同一个报文，所有的聚合器都要按照自己的维度进行一次累计；
4）聚合主程序做线程等待的任务，任务结束时，重新创建所有维度的聚合，并开始下一个时间周期的聚合任务；而上个周期的聚合程序要将已经聚合好的数据，生成到指定格式的文件中；
5）业务域聚合程序将初级聚合后的数据，再进行深度的聚合；
6）通过DPL服务，将数据文件入库。
所述的步骤3）中聚合器分为子网聚合线程、APP聚合线程、AS域聚合线程、TransType聚合线程和TOS聚合线程五类。
所述的步骤5）中深度聚合工作是业务域的翻译，并根据业务域聚合，最终输出业务域统计数据。
本发明的一种路由器流量监控与分析方法和现有技术相比，可以实现流量在业务域之间的分类统计，为上层分析提供第一手的数据；配合上层应用，可以在两个业务域之间按应用统计，分析哪些应用产生的流量大；也可以以具体某个业务域作统计，看某个业务域与哪些业务域之间流量情况；通过不同的维度，可以分析出更多的，更有价值的信息。
附图说明
附图１为一种路由器流量监控与分析方法的流程图。
具体实施方式
实施例1：
该路由器流量监控与分析方法步骤如下：
1）初始化Socket接口和缓冲区，快速的接受NetFlow报文，经过处理之后，缓存到第一级缓存；
2）创建解析线程，将原始报文进行解析，将报文信息对象化，并缓存到第二级缓存；
报文接受模块处理采用了循环数组队列，数组每一项都是一个普通队列，接受线程和解析线程作用于一个大的循环数组，每隔100ms左右，接受和解析线程都要平移一次操作队列，如接受线程之前操作的是第n的队列，会一直往队列n中写入报文对象，解析线程从队列n-1不断读报文对象，等100ms之后，接受线程切换到n+1，此时接受线程已经向队列n写入了大量对象，而解析线程也相应的切换到n队列，继续从队列n取对象解析。
3）预先定义维度聚合规则，并分别初始化子网聚合线程、APP聚合线程、AS域聚合线程、TransType聚合线程和TOS聚合线程的聚合程序，由分发器将报文对象分到不同聚合器聚合，对同一个报文，所有的聚合器都要按照自己的维度进行一次累计；
4）选择最小时间粒度5分钟，聚合主程序做线程等待的任务，5分钟结束时，主线程将之前所有的聚合线程的状态置位废弃，重新创建所有维度的聚合，并开始下一个时间周期的聚合任务；而上个周期的聚合程序要将已经聚合好的数据，生成到指定格式的文件中；
5）业务域聚合程序将初级聚合后的数据，再进行深度的聚合；深度聚合工作是业务域的翻译，并根据业务域聚合，最终输出业务域统计数据；
6）通过DPL服务，将数据文件入库。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
Claims (3)
1.一种路由器流量监控与分析方法，其特征在于，该方法步骤如下：
1）初始化Socket接口和缓冲区，快速的接受NetFlow报文，经过处理之后，缓存到第一级缓存；
2）创建解析线程，将原始报文进行解析，将报文信息对象化，并缓存到第二级缓存；
3）预先定义维度聚合规则，并初始化不同维度的聚合程序，由分发器将报文对象分到不同聚合器聚合，对同一个报文，所有的聚合器都要按照自己的维度进行一次累计；
4）聚合主程序做线程等待的任务，任务结束时，重新创建所有维度的聚合，并开始下一个时间周期的聚合任务；而上个周期的聚合程序要将已经聚合好的数据，生成到指定格式的文件中；
5）业务域聚合程序将初级聚合后的数据，再进行深度的聚合；
6）通过DPL服务，将数据文件入库。
2.根据权利要求1所述的一种路由器流量监控与分析方法，其特征在于，所述的步骤3）中聚合器分为子网聚合线程、APP聚合线程、AS域聚合线程、TransType聚合线程和TOS聚合线程五类。
3.根据权利要求1所述的一种路由器流量监控与分析方法，其特征在于，所述的步骤5）中深度聚合工作是业务域的翻译，并根据业务域聚合，最终输出业务域统计数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610135229.5A CN105610655A (zh) | 2016-03-10 | 2016-03-10 | 一种路由器流量监控与分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610135229.5A CN105610655A (zh) | 2016-03-10 | 2016-03-10 | 一种路由器流量监控与分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105610655A true CN105610655A (zh) | 2016-05-25 |
Family
ID=55990200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610135229.5A Pending CN105610655A (zh) | 2016-03-10 | 2016-03-10 | 一种路由器流量监控与分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105610655A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110417609A (zh) * | 2018-04-26 | 2019-11-05 | 中移(苏州)软件技术有限公司 | 一种网络流量的统计方法、装置、电子设备及存储介质 |
| CN113076178A (zh) * | 2021-02-25 | 2021-07-06 | 厦门科灿信息技术有限公司 | 报文存储方法、装置及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102905311A (zh) * | 2012-09-29 | 2013-01-30 | 北京傲天动联技术有限公司 | 数据报文聚合装置和数据报文聚合方法 |
| CN103281728A (zh) * | 2013-05-17 | 2013-09-04 | 福建星网锐捷网络有限公司 | 报文聚合方法、装置及网络设备 |
-
2016
- 2016-03-10 CN CN201610135229.5A patent/CN105610655A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102905311A (zh) * | 2012-09-29 | 2013-01-30 | 北京傲天动联技术有限公司 | 数据报文聚合装置和数据报文聚合方法 |
| CN103281728A (zh) * | 2013-05-17 | 2013-09-04 | 福建星网锐捷网络有限公司 | 报文聚合方法、装置及网络设备 |
Non-Patent Citations (4)
| Title |
|---|
| 刘文杰等: "《JAVA 7实用教程》", 31 December 2013 * |
| 曹绍华: "基于NetFlow的网络测量模型的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 白杨，周晓洁等: "NetFlow流量数据的压缩存储于多维度聚合", 《中国电子科学研究院学报》 * |
| 郭剑云，曹庆华: "NetFlow流量采集与聚合的研究实现", 《现代电子技术》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110417609A (zh) * | 2018-04-26 | 2019-11-05 | 中移(苏州)软件技术有限公司 | 一种网络流量的统计方法、装置、电子设备及存储介质 |
| CN113076178A (zh) * | 2021-02-25 | 2021-07-06 | 厦门科灿信息技术有限公司 | 报文存储方法、装置及设备 |
| CN113076178B (zh) * | 2021-02-25 | 2024-01-02 | 厦门科灿信息技术有限公司 | 报文存储方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107634848B (zh) | 一种采集分析网络设备信息的系统和方法 | |
| US7782793B2 (en) | Statistical trace-based methods for real-time traffic classification | |
| US9531620B2 (en) | Control plane packet traffic statistics | |
| US20110167149A1 (en) | Internet flow data analysis method using parallel computations | |
| US11863439B2 (en) | Method, apparatus and storage medium for application identification | |
| CN111953552B (zh) | 数据流的分类方法和报文转发设备 | |
| US11297105B2 (en) | Dynamically determining a trust level of an end-to-end link | |
| WO2020258982A1 (zh) | 一种分析基站安全日志的方法、系统及计算机可读存储介质 | |
| CN109151880A (zh) | 基于多层分类器的移动应用流量识别方法 | |
| CN104917628B (zh) | 一种以太网路由器/交换机丢包故障自动诊断方法 | |
| CN111181800A (zh) | 测试数据处理方法、装置、电子设备及存储介质 | |
| CN103414594A (zh) | 一种用于计费和监控的ip流信息统计方法 | |
| US9917747B2 (en) | Problem detection in a distributed digital network through distributed packet analysis | |
| CN102904823A (zh) | 一种基于存储器的多用户多业务的精确流量控制方法 | |
| CN104333461A (zh) | 互联网应用流量识别方法、系统及识别装置 | |
| US9749840B1 (en) | Generating and analyzing call detail records for various uses of mobile network resources | |
| CN105262697A (zh) | 一种网络流量分流方法与系统 | |
| CN105610655A (zh) | 一种路由器流量监控与分析方法 | |
| US20080080495A1 (en) | System and method for network analysis | |
| CN100558058C (zh) | 基于流集合随机抽样的报文测量方法 | |
| CN106257867A (zh) | 一种加密流量的业务识别方法和装置 | |
| CN113037551B (zh) | 一种基于流量切片的涉敏业务快速识别定位方法 | |
| CN104965851A (zh) | 一种分析数据的系统及方法 | |
| WO2017193814A1 (zh) | 一种业务链生成方法及系统 | |
| CN113422699A (zh) | 数据流处理方法、装置、计算机可读存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160525 |