CN104753732A - 一种基于分布式的网络流量分析系统及方法 - Google Patents
一种基于分布式的网络流量分析系统及方法 Download PDFInfo
- Publication number
- CN104753732A CN104753732A CN201310749557.0A CN201310749557A CN104753732A CN 104753732 A CN104753732 A CN 104753732A CN 201310749557 A CN201310749557 A CN 201310749557A CN 104753732 A CN104753732 A CN 104753732A
- Authority
- CN
- China
- Prior art keywords
- network
- analysis
- flow
- layer
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于分布式的网络流量分析系统及方法。本发明运用分布式技术，构建了可用于大规模网络流量数据分析的网络流量分析系统。所述系统包括：Web服务器、流量分析系统集群和文件服务器。所述系统首先通过流量采集模块采集网络中流量信息，然后提取出所述原始流量信息中的网络层、传输层和应用层信息，再通过对所述网络层、传输层和应用层信息进行分析处理，主要对总流量情况、IP到IP流量数据、IP层网络数据信息以及应用层协议信息进行分析，为企事业用户提供方便、快捷和安全的网络在线服务。
Description
技术领域 本发明涉及一种分布式的网络流量的分析系统及方法，属于计算机技术领域。
背景技术 随着网络应用范围扩大，规模也日渐增长，越来越多的企事业单位通过网络应用系统承载业务。运用网络应用系统来进行业务工作，不仅方便性好，而且效率高。因此，网络所承载的业务量不断增加，业务内容也越来越丰富。企事业单位作为网络应用系统的用户，需要实时了解网络承载的业务和网络流量特征，以便使网络带宽配置最优化；实时调整网络性能使企业管理者能够了解所提供的各种业务或网页服务的用户访问情况等。然而，现有的网络应用系统存在以下不足：(1)由于大多网络流量分析系统是面向提供Internet服务的运营商，其目的是帮助网络运营商了解用户对网络的访问情况，从而调整网络设备架构和业务架构。(2)现有的网络流量分析系统在进行分析的过程中并不对会话进行全程跟踪分析，并不能分析出网络中的行为，因此无法保障网络会话应用层的安全性。(3)现有的网络流量分析系统大多都是部署在单个节点，数据处理能力和分析处理能力较弱，不具备对大规模网络流量信息进行分析处理的能力。上述问题使得网络应用系统的用户及时了解和掌握网络应用系统的业务工作和业务保密难以实现。
发明内容 为了帮助网络应用系统的用户(1)实时了解网络上何人、何时、做何事的应用情况；(2)网络延时、流量统计等基本情况；(3)对网络流量的大小、流向、协议细节进行监控和分析。本发明提供一种基于分布式的、支持大规模网络流量分析系统及方法。通过分布式技术能够提升系统的整体性能，使本网络流量分析系统支持大规模网络流量数据分析。此外，本发明注重分布式技术的应用，网络流量分析系统的界面美观、操作简便、运行安全可靠。
本发明是一种基于分布式的网络流量分析系统，包括：Web服务器、流量分析系统集群和文件服务器。
所述Web服务器包括：Web服务器基本功能和分析结果展示模块。其中分析结果展示模块由每秒流量信息展示模块、IP到IP网络延时信息展示模块、网络服务信息展示模块、IP到IP流量统计信息展示模块以及应用层协议分析模块组成。
所述流量分析系统集群包括：流量分析负载均衡器和多个流量分析引擎，用于流量分析包括总流量情况分析、IP端流量分析、网络服务分析以及网络延时分析。流量分析引擎由流量采集模块和流量分析模块组成。流量采集模块用于采集当前网络中的原始流量信息，并从中提取出网络层、传输层以及应用层的流量信息；流量分析模块用于对所述网络层、传输层以及应用层的流量信息进行流量分析，并统计所述网络层、传输层以及应用层流量信息的分析结果。
其中，所述流量采集模块包括：本地采集模块，用于持续获取通过网络中的原始流量信息，或者通过用户上传网络流量包；网络流量解析模块，用于对所述特定流量信息根据不同协议层进行解析，识别出网络层、传输层和应用层流量信息，并将各种信息保存到数据库中。
其中，流量分析模块具体包括：网络点到点流量分析模块，包括进行总流量情况统计、IP到IP流量数据统计，针对IP层网络数据信息的网络基本情况进行分析；网络服务分析模块，根据传输层协议中的端口号，分析网络服务应用列表，并且根据TCP协议的三次握手特性分析出网络服务的客户端节点信息；网络延时分析模块，根据捕获的数据包的基本信息进行网络延时分析，用于统计网络的基本情况；网络应用层分析模块，针对不同的应用层协议进行不同的分析，对协议内部进行分析，记录主机操作内容、操作时间及操作对象。
所述文件服务器包括：待分析文件服务器和分析结果文件服务器。
本发明的有益之处：
(1)帮助企业了解网络上何人、何时、做何事的应用情况；
(2)提供网络延时、流量统计、网络服务器应用、应用层协议分析等基本情况，能够对网络流的大小、流向、协议细节进行监控和分析；
(3)采用分布式技术，使用负载均衡技术，将大量的网络流量数据分担到多个网络流量分析引擎分析处理，减少用户等待时间，提升系统整体性能；
(4)能够对网络中的应用、协议、连接、流量、内容等多层次进行全方位的综合分析，达到了通过网络流量的监测分析保障网络中应用系统安全性的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例获现有技术描述中所需要使用的附图作简单介绍。
图1为本发明实施例公开的网络流量分析系统的网络部署示意图；
图2为本发明实施例公开的一种分布式的网络流量分析方法的流程示意图。
图3为本发明实施例一公开的一种分布式的网络流量分析系统的整体结构示意图；
图4为本发明实施例二公开的一种分布式的网络流量分析系统的整体结构示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一
图1为本发明实施例公开的一种分布式的网络流量分析系统的网络部署示意图。本发明实施例公开的网络流量分析系统挂接在企业的网络管理人员所有需要关注的流量必须流经的链路上。网络结构包括Internet、路由器、防火墙、交换机以及企业的Web服务器。本发明实施例公开的网络流量分析系统架设在交换机与企业Web服务器之间。
图2为本发明实施例公开的网络流量分析方法的流程示意图，包括：
流量采集模块，用于采集网络中的流量信息，可以使用tcpdump或者wireshark采集网络流量信息，也可以直接获得用户上传的流量包；
网络流量解析模块，用于从所述流量信息中提取出网络层、传输层和应用层信息，提取网络层IP协议头信息、传输层TCP协议头信息和UDP协议头信息以及应用层HTTP协议头和数据信息等；
流量分析模块，用于对所述网络层、传输层和应用层信息进行流量分析，主要进行网络延时分析、点到点网络流量分析和应用层协议分析等。
图3为本发明实施例公开的一种分布式的网络流量分析系统的整体结构示意图。所述网络流量分析系统整体结构可以包括：
Web服务器，包含Web服务器的基本功能以及网络流量分析系统的分析结果展示模块；
文件服务器，用于保存待分析的网络流量包与分析结果信息；
分析引擎负载均衡器，通过负载均衡调度算法合理分配客户端的网络流量分析请求，并且将请求分配给网络流量分析引擎进行分析处理；
分析引擎，用于对网络流量包进行分析处理，开且生成分析结果反馈给客户端。
实施例二
图4为本发明实施例公开的另一种分布式的网络流量分析系统的整体结构示意图。所述网络流量分析系统整体结构可以包括：
Web服务器负载均衡器，用于合理调度客户端请求，将客户端请求分配给Web服务器，在本发明实施例中，Web服务器负载均衡器采用Apache HTTP服务器；
Web服务器集群，包含多个Web服务器，在本发明实施例中，Web服务器使用的是Tomcat服务器；
文件服务器，用于保存待分析的网络流量包与分析结果信息；
分析引擎负载均衡器，通过负载均衡调度算法合理分配客户端的网络流量分析请求，并且将请求分配给网络流量分析引擎进行分析处理；
分析引擎，用于对网络流量包进行分析处理，开且生成分析结果反馈给客户端。
Claims (6)
1.一种基于分布式的网络流量分析系统及方法。该系统注重分布式技术的应用，通过分布式技术能够提升系统的整体性能，使本网络流量分析系统支持大规模网络流量数据分析。本系统首先通过流量采集模块采集网络中流量信息，然后提取出所述原始流量信息中的网络层、传输层和应用层信息，再通过对所述网络层、传输层和应用层信息进行分析处理，主要对总流量情况、IP到IP流量数据、IP层网络数据信息以及应用层协议信息进行分析。本发明的优势之处：(1)帮助企业了解网络上何人、何时、做何事的应用情况；(2)提供网络延时、流量统计、网络服务应用、应用层协议分析等基本情况，能够对网络流的大小、流向、协议细节进行监控和分析；(3)采用分布式技术，使用负载均衡技术，将大量的网络流量数据分摊到多个网络流量分析引擎分析处理，减少用户等待时间，提升系统整体性能。
2.按权利要求1所述的基于分布式的网络流量分析系统，其特征在于，包括：Web服务器、流量分析系统集群和文件服务器。
3.按权利要求2所述系统，其特征在于，所述Web服务器模块具体包括：Web服务器基本功能和分析结果展示模块。为用户提供Web服务器基本功能和每秒流量信息、IP到IP网络延时信息、网络服务信息、IP到IP流量统计信息以及应用层协议分析。
4.按权利要求2所述系统，其特征在于，所述流量分析系统集群模块具体包括：
流量分析负载均衡器，用于当接收到用户的流量分析请求后，将分析请求按照一定策略分发给某一个流量分析引擎进行分析处理；
流量分析引擎，对每一次用户请求，进行流量分析并反馈分析结果；
5.按权利要求4所述系统，其特征在于，所述流量分析引擎具体包括：
流量采集模块，用于采集当前网络中的原始流量信息，并从中提取出网络层、传输层以及应用层的流量信息；
流量分析模块，根据所述流量采集模块提取出的网络层、传输层以及应用层的流量信息，进行统计分析；
6.按权利要求5所述系统，其特征在于，所述流量分析模块具体包括：
网络点到点流量分析模块，包括进行总流量情况统计、IP到IP流量数据统计，针对IP层网络数据信息的网络基本情况进行分析；
网络服务分析模块，根据传输层协议中的端口号，分析网络服务应用列表，并且根据TCP协议的三次握手特性分析出网络服务的客户端节点信息；
网络延时分析模块，根据捕获的数据包的基本信息进行网络延时分析，用于统计网络的基本情况；
网络应用层分析模块，针对不同的应用层协议进行不同的分析，对协议内部进行分析，记录主机操作内容、操作时间及操作对象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310749557.0A CN104753732A (zh) | 2013-12-27 | 2013-12-27 | 一种基于分布式的网络流量分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310749557.0A CN104753732A (zh) | 2013-12-27 | 2013-12-27 | 一种基于分布式的网络流量分析系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104753732A true CN104753732A (zh) | 2015-07-01 |
Family
ID=53592880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310749557.0A Pending CN104753732A (zh) | 2013-12-27 | 2013-12-27 | 一种基于分布式的网络流量分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104753732A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815112A (zh) * | 2015-11-27 | 2017-06-09 | 大唐软件技术股份有限公司 | 一种基于深度包检测的海量数据监控系统及方法 |
| CN107147535A (zh) * | 2017-06-02 | 2017-09-08 | 中国人民解放军理工大学 | 一种分布式的网络测量数据统计分析方法 |
| CN108259371A (zh) * | 2016-12-28 | 2018-07-06 | 亿阳信通股份有限公司 | 一种基于流处理的网络流量数据解析方法和装置 |
| CN108270795A (zh) * | 2018-02-23 | 2018-07-10 | 上海市信息网络有限公司 | 数据安全防泄露自救系统、方法、可读存储介质及设备 |
| CN108712306A (zh) * | 2018-05-10 | 2018-10-26 | 国网宁夏电力有限公司信息通信公司 | 一种信息系统自动化巡检平台和巡检方法 |
| CN108923975A (zh) * | 2018-07-05 | 2018-11-30 | 中山大学 | 一种面向分布式网络的流量行为分析方法 |
| CN105553998B (zh) * | 2015-12-23 | 2019-02-01 | 中国电子科技集团公司第三十研究所 | 一种网络攻击异常检测方法 |
| CN109361573A (zh) * | 2018-12-13 | 2019-02-19 | 武汉市硅丰科技发展有限责任公司 | 流量日志分析方法、系统及计算机可读存储介质 |
| CN110266603A (zh) * | 2019-06-27 | 2019-09-20 | 公安部第一研究所 | 基于http协议的身份认证业务网络流量分析系统及方法 |
| CN110795600A (zh) * | 2019-11-05 | 2020-02-14 | 成都深思科技有限公司 | 一种分布式网络流量的聚合降维统计方法 |
| CN111314296A (zh) * | 2020-01-15 | 2020-06-19 | 福建奇点时空数字科技有限公司 | 一种基于旁路技术的网络流量分析安全服务系统 |
| CN112235158A (zh) * | 2020-10-13 | 2021-01-15 | 中移（杭州）信息技术有限公司 | 流量镜像方法、装置、虚拟机平台及存储介质 |
| CN112333020A (zh) * | 2020-11-03 | 2021-02-05 | 广东电网有限责任公司 | 一种基于五元组的网络安全监测及数据报文解析系统 |
| CN112350882A (zh) * | 2020-09-28 | 2021-02-09 | 广东电力信息科技有限公司 | 一种基于分布式的网络流量分析系统及方法 |
| CN112910725A (zh) * | 2021-01-18 | 2021-06-04 | 卓望数码技术（深圳）有限公司 | 一种网络流量检测方法及装置、计算机可读存储介质 |
| CN114200894A (zh) * | 2020-09-17 | 2022-03-18 | 上海骞行信息科技有限公司 | 一种基于网络流量分析的plc生产线全息监控系统 |
| CN114826939A (zh) * | 2022-04-25 | 2022-07-29 | 神州灵云（北京）科技有限公司 | 一种k8s集群的网络流量分析方法 |
-
2013
- 2013-12-27 CN CN201310749557.0A patent/CN104753732A/zh active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815112A (zh) * | 2015-11-27 | 2017-06-09 | 大唐软件技术股份有限公司 | 一种基于深度包检测的海量数据监控系统及方法 |
| CN105553998B (zh) * | 2015-12-23 | 2019-02-01 | 中国电子科技集团公司第三十研究所 | 一种网络攻击异常检测方法 |
| CN108259371A (zh) * | 2016-12-28 | 2018-07-06 | 亿阳信通股份有限公司 | 一种基于流处理的网络流量数据解析方法和装置 |
| CN107147535A (zh) * | 2017-06-02 | 2017-09-08 | 中国人民解放军理工大学 | 一种分布式的网络测量数据统计分析方法 |
| CN108270795A (zh) * | 2018-02-23 | 2018-07-10 | 上海市信息网络有限公司 | 数据安全防泄露自救系统、方法、可读存储介质及设备 |
| CN108712306A (zh) * | 2018-05-10 | 2018-10-26 | 国网宁夏电力有限公司信息通信公司 | 一种信息系统自动化巡检平台和巡检方法 |
| CN108923975B (zh) * | 2018-07-05 | 2021-08-10 | 中山大学 | 一种面向分布式网络的流量行为分析方法 |
| CN108923975A (zh) * | 2018-07-05 | 2018-11-30 | 中山大学 | 一种面向分布式网络的流量行为分析方法 |
| CN109361573A (zh) * | 2018-12-13 | 2019-02-19 | 武汉市硅丰科技发展有限责任公司 | 流量日志分析方法、系统及计算机可读存储介质 |
| CN109361573B (zh) * | 2018-12-13 | 2022-02-18 | 武汉市硅丰科技发展有限责任公司 | 流量日志分析方法、系统及计算机可读存储介质 |
| CN110266603B (zh) * | 2019-06-27 | 2022-12-20 | 公安部第一研究所 | 基于http协议的身份认证业务网络流量分析系统及方法 |
| CN110266603A (zh) * | 2019-06-27 | 2019-09-20 | 公安部第一研究所 | 基于http协议的身份认证业务网络流量分析系统及方法 |
| CN110795600A (zh) * | 2019-11-05 | 2020-02-14 | 成都深思科技有限公司 | 一种分布式网络流量的聚合降维统计方法 |
| CN111314296A (zh) * | 2020-01-15 | 2020-06-19 | 福建奇点时空数字科技有限公司 | 一种基于旁路技术的网络流量分析安全服务系统 |
| CN114200894A (zh) * | 2020-09-17 | 2022-03-18 | 上海骞行信息科技有限公司 | 一种基于网络流量分析的plc生产线全息监控系统 |
| CN114200894B (zh) * | 2020-09-17 | 2024-05-28 | 上海骞行信息科技有限公司 | 一种基于网络流量分析的plc生产线全息监控系统 |
| CN112350882A (zh) * | 2020-09-28 | 2021-02-09 | 广东电力信息科技有限公司 | 一种基于分布式的网络流量分析系统及方法 |
| CN112235158A (zh) * | 2020-10-13 | 2021-01-15 | 中移（杭州）信息技术有限公司 | 流量镜像方法、装置、虚拟机平台及存储介质 |
| CN112333020A (zh) * | 2020-11-03 | 2021-02-05 | 广东电网有限责任公司 | 一种基于五元组的网络安全监测及数据报文解析系统 |
| CN112333020B (zh) * | 2020-11-03 | 2023-07-21 | 广东电网有限责任公司 | 一种基于五元组的网络安全监测及数据报文解析系统 |
| CN112910725A (zh) * | 2021-01-18 | 2021-06-04 | 卓望数码技术（深圳）有限公司 | 一种网络流量检测方法及装置、计算机可读存储介质 |
| CN114826939A (zh) * | 2022-04-25 | 2022-07-29 | 神州灵云（北京）科技有限公司 | 一种k8s集群的网络流量分析方法 |
| CN114826939B (zh) * | 2022-04-25 | 2024-04-23 | 神州灵云（北京）科技有限公司 | 一种k8s集群的网络流量分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104753732A (zh) | 一种基于分布式的网络流量分析系统及方法 | |
| CN106815112B (zh) | 一种基于深度包检测的海量数据监控系统及方法 | |
| CN102035698B (zh) | 基于决策树分类算法的http隧道检测方法 | |
| US8676729B1 (en) | Network traffic classification using subspace clustering techniques | |
| Dusi et al. | Quantifying the accuracy of the ground truth associated with Internet traffic traces | |
| US10706062B2 (en) | Method and system for exchanging data from a big data source to a big data target corresponding to components of the big data source | |
| Karimi et al. | Distributed network traffic feature extraction for a real-time IDS | |
| CN102739457A (zh) | 一种基于dpi和svm技术的网络流量识别系统及方法 | |
| CN101262491A (zh) | 应用层网络分析方法及系统 | |
| US11650994B2 (en) | Monitoring network traffic to determine similar content | |
| CN105337753A (zh) | 一种互联网真实质量监测方法及装置 | |
| CN105357071B (zh) | 一种网络复杂流量识别方法及识别系统 | |
| CN106559498A (zh) | 风控数据收集平台及其收集方法 | |
| Luxemburk et al. | CESNET-QUIC22: A large one-month QUIC network traffic dataset from backbone lines | |
| Uramová et al. | Packet capture infrastructure based on Moloch | |
| CN100366002C (zh) | 互联网共享接入检测系统 | |
| CN107070700A (zh) | 一种基于身份自动识别的网络服务提供方法 | |
| Mohd et al. | Towards a flow-based internet traffic classification for bandwidth optimization | |
| Wu et al. | Packet size distribution of typical Internet applications | |
| CN102664773A (zh) | 一种网络流量的探测方法和探测装置 | |
| TWI389504B (zh) | IP network traffic error detection and analysis system | |
| CN111800311B (zh) | 分散计算状态实时感知方法 | |
| Yang et al. | Analysis of smartphone traffic with MapReduce | |
| Ikebe et al. | An integrated distributed log management system with metadata for network operation | |
| CN109684301A (zh) | 一种基于大数据的多级网络流量存储方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150701 |