CN105119756B - 一种基于网络管理平台与数据分析的网络监控系统及方法 - Google Patents

一种基于网络管理平台与数据分析的网络监控系统及方法 Download PDF

Info

Publication number
CN105119756B
CN105119756B CN201510575339.9A CN201510575339A CN105119756B CN 105119756 B CN105119756 B CN 105119756B CN 201510575339 A CN201510575339 A CN 201510575339A CN 105119756 B CN105119756 B CN 105119756B
Authority
CN
China
Prior art keywords
data
network
parsing
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510575339.9A
Other languages
English (en)
Other versions
CN105119756A (zh
Inventor
李强
朱捷文
张俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scxgo Corp
Original Assignee
Scxgo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scxgo Corp filed Critical Scxgo Corp
Priority to CN201510575339.9A priority Critical patent/CN105119756B/zh
Publication of CN105119756A publication Critical patent/CN105119756A/zh
Application granted granted Critical
Publication of CN105119756B publication Critical patent/CN105119756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/20—Network management software packages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及网络管理分析技术，尤其涉及一种基于网络管理平台与数据分析的网络监控系统及方法，采用流量采集与数据分析方法对网络由浅入深的管理与分析。对网络、应用、业务、WEB性能管理、传统的网管工具相五合一，相比原来的技术，解决了多个产品的结合问题，以往客户需要买5个产品达到的效果，现在只需要买这一个产品就能实现，并且在维护上更加方便快捷，机动性好。

Description

一种基于网络管理平台与数据分析的网络监控系统及方法
技术领域
本发明涉及网络管理分析技术，尤其涉及一种基于网络管理平台与数据分析的网络监控系统及方法。
背景技术
在网络管理系统中，网络性能管理是非常重要的一部分，大数据量的解码、分析以及可视化展示在性能上却是一个技术难点，一个网络往往管理着成千上万个设备，而分析网络性能数据量可能达到1Gbps甚至更高，实时准确地掌握网络的运行状态，及时处理网络出现的异常以及设备出现重大故障，同时存储数据包，让故障有据可依等，而上述的实现都需要考虑对大量网络数据和设备数据进行由浅入深的分析。
目前，大多数网络性能管理软件开发商，在网络管理(传统的网管工具)、网络性能管理、应用性能管理、业务性能管理、Web性能管理这四大产品中只涉及某一个或者二三。没有任何一个产品能实现这四大功能。如OneAPM提供Demo免费版本，对网络性能管理和应用性能管理的可视化分析，没有结合传统的网络管理工具，自动发现网络拓扑等功能。
发明内容
本发明主要是解决现有技术所存在的技术问题；提供了一种对网络、应用、业务、WEB性能管理、传统的网管工具相五合一，相比原来的技术，解决了多个产品的结合问题，以往客户需要买5个产品达到的效果，现在只需要买这一个产品就能实现，并且在维护上更加方便快捷，机动性好的一种基于网络管理平台与数据分析的网络监控系统及方法。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种基于网络管理平台与数据分析的网络监控系统，其特征在于，包括：
数据采集单元：以流量镜像的方式获取到网络数据包，并发送网络数据包；
数据解析单元：对网络数据包进行深度解析，得到解析后的数据，所述解析过程包括以太网、网络层、传输层以及应用层的解析
数据库：将数据解析单元解析的各解析数据存储到对应的数据库中；
显示单元：将数据库中的各解析数据通过网络拓扑形式展现出各解析数据。
在上述的一种基于网络管理平台与数据分析的网络监控系统，所述数据解析单元包括：
以太网数据解析子单元：针对非IPv4或者IPv6数据，则存储此数据包，只作计算吞吐量和流量等网络数据；针对IPv4或者IPv6数据，则进行网络层数据解析；
网络层数据解析子单元：用于网络层提供寻址和路由选择、连接的建立、保持和终止。解析数据得到源IP、目的IP、等信息，统计用户数、用户网络传输质量信息。
传输层数据解析子单元：根据以太网数据解析子单元得到的IPv4和IPv6的数据继续深入解析传输层TCP/UDP，并统计出三次握手时间、服务器响应时间，数据传输时间，重传时延，RTT(in)、RTT(out)参数的获取；
应用层数据解析子单元：提取应用层协议信息，包括HTTP、FTP、SMTP、RCP、EFS应用层，并解析所有客户要求解析的应用层协议，如果是解密协议需要客户提供接口规范以及公钥和私钥，进而解析应用层协议数据，提取交易信息，交易过程，交易量信息。
在上述的一种基于网络管理平台与数据分析的网络监控系统，包括：
自动数据注入单元：将数据库中的数据实时或根据用户需求注入到显示单元的网络拓扑中。
在上述的一种基于网络管理平台与数据分析的网络监控系统，包括：
网络信息自动搜索单元：自动发现设备上的网络接口、设备板卡、线路、链路、处理器、内存、磁盘、数据库服务、中间件应用、软件服务资源信息，并将发现信息发送给数据采集单元，有数据采集单元进行数据采集。
一种基于网络管理平台与数据分析的网络监控方法，其特征在于，包括：
步骤1、数据采集单元以流量镜像的方式获取到网络数据包之。把数据包提供给数据解析单元。
步骤2、数据解析单元解析以太网数据，如果是IPv4或者IPv6则继续深入解析，否则存储此数据包，只作计算吞吐量和流量等网络数据。
步骤3、由步骤2得到IPv4和IPv6的数据继续深入解析下一层，即传输层TCP/UDP，并统计出三次握手时间、服务器响应时间，数据传输时间，重传时延，RTT(in)、RTT(out)，等参数的统计。
步骤4、提取下一层协议信息，包括HTTP、FTP、SMTP、RCP、EFS应用层。
步骤5、进而解析所有客户要求解析的应用层协议，如果是解密协议需要客户提供接口规范以及公钥和私钥，进而解析应用层协议数据，提取交易信息，交易过程，交易量等等信息。
步骤6、接步骤1，在镜像数据的同时，基于SNP、ICMP网管技术，由显示单元获取客户网络拓扑图。
步骤7、网络信息自动搜索单元自动发现设备上的网络接口、设备板卡、线路、链路、处理器、内存、磁盘、数据库服务、中间件应用、软件服务等设备资源信息。
在上述的一种基于网络管理平台与数据分析的网络监控方法，自动数据注入单元能够基于步骤2至步骤5根据客户的要求把数据注入到步骤6的网络拓扑图，把传统的网管工具和网络、应用、业务性能紧密结合，打破常规的思路，更方便快捷的管理网络。
因此，本发明具有如下优点：对网络、应用、业务、WEB性能管理、传统的网管工具相五合一，相比原来的技术，解决了多个产品的结合问题，以往客户需要买5个产品达到的效果，现在只需要买这一个产品就能实现，并且在维护上更加方便快捷，机动性好。
附图说明
附图1是本发明的一种工作原理示意图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
一、本发明包括如下的硬件：
数据采集单元：以流量镜像的方式获取到网络数据包，并发送网络数据包；
数据解析单元：对网络数据包进行深度解析，得到解析后的数据，所述解析过程包括以太网、网络层、传输层以及应用层的解析；
数据解析单元包括：
以太网数据解析子单元：针对非IPv4或者IPv6数据，则存储此数据包，只作计算吞吐量和流量等网络数据；针对IPv4或者IPv6数据，则进行网络层数据解析；
网络层数据解析子单元：网络层提供寻址和路由选择、连接的建立、保持和终止等。解析数据得到源IP、目的IP、等信息，统计用户数、用户网络传输质量等相关信息。
传输层数据解析子单元：根据以太网数据解析子单元得到的IPv4和IPv6的数据继续深入解析传输层TCP/UDP，并统计出三次握手时间、服务器响应时间，数据传输时间，重传时延，RTT(in)、RTT(out)参数的获取；
应用层数据解析子单元：提取应用层协议信息，包括HTTP、FTP、SMTP、RCP、EFS应用层，并解析所有客户要求解析的应用层协议，如果是解密协议需要客户提供接口规范以及公钥和私钥，进而解析应用层协议数据，提取交易信息，交易过程，交易量信息。
数据库：将数据解析单元解析的各解析数据存储到对应的数据库中；
显示单元：将数据库中的各解析数据通过网络拓扑形式展现出各解析数据。
自动数据注入单元：将数据库中的数据实时或根据用户需求注入到显示单元的网络拓扑中。
网络信息自动搜索单元：自动发现设备上的网络接口、设备板卡、线路、链路、处理器、内存、磁盘、数据库服务、中间件应用、软件服务资源信息，并将发现信息发送给数据采集单元，有数据采集单元进行数据采集。
流量监控：统计流入和流出各设备的数据量。
其他功能可以根据客户需求进行添加，对现有模块无影响。
二、具体的实现方法是：
101、数据采集中心以流量镜像的方式获取到网络数据包之。把数据包提供给数据解析单元。
102、数据解析单元解析以太网数据，如果是IPv4或者IPv6则继续深入解析，否则存储此数据包，只作计算吞吐量和流量等网络数据。
103、进102得到IPv4和IPv6的数据继续深入解析下一层，即传输层TCP/UDP，并统计出三次握手时间、服务器响应时间，数据传输时间，重传时延，RTT(in)、RTT(out)，等参数的统计。
104、接103在解析传输层协议解析完成，提取下一层协议信息，比如HTTP、FTP、SMTP、RCP、EFS等应用层(这里把OSI的表示层、会话层、应用层统称为应用层)。
105、进而解析所有客户要求解析的应用层协议，如果是解密协议需要客户提供接口规范以及公钥和私钥，进而解析应用层协议数据，提取交易信息，交易过程，交易量等等信息。
106、接步骤101，在镜像数据的同时，通过SNP、ICMP等等网管技术，获取客户网络拓扑图。
107、并自动发现设备上的网络接口、设备板卡、线路、链路、处理器、内存、磁盘、数据库服务、中间件应用、软件服务等设备资源信息。
108、步骤102--105可以根据客户的要求把数据注入到步骤106的网络拓扑图，把传统的网管工具和网络、应用、业务性能紧密结合，打破常规的思路，更方便快捷的管理网络
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种基于网络管理平台与数据分析的网络监控系统，其特征在于，包括：
数据采集单元：以流量镜像的方式获取到网络数据包，并发送网络数据包；
数据解析单元：对网络数据包进行深度解析，得到解析后的数据，所述解析过程包括以太网、网络层、传输层以及应用层的解析；
数据库：将数据解析单元解析的各解析数据存储到对应的数据库中；
显示单元：将数据库中的各解析数据通过网络拓扑形式展现；
所述数据解析单元包括：
以太网数据解析子单元：针对非IPv4或者IPv6数据，则存储此数据包，只作计算吞吐量和流量网络数据；针对IPv4或者IPv6数据，则进行网络层数据解析；
网络层数据解析子单元：用于网络层提供寻址和路由选择、连接的建立、保持和终止；解析数据得到源IP、目的IP信息，统计用户数、用户网络传输质量信息；
传输层数据解析子单元：根据以太网数据解析子单元得到的IPv4和IPv6的数据继续深入解析传输层TCP/UDP，并统计出三次握手时间、服务器响应时间、数据传输时间、重传时延、RTTin、RTTout参数；
应用层数据解析子单元：提取应用层协议信息，应用层协议包括HTTP、FTP、SMTP、RCP和/或EFS应用层协议，并解析所有客户要求解析的应用层协议，如果是解密协议需要客户提供接口规范以及公钥和私钥，进而解析应用层协议数据，提取交易信息，交易过程，交易量信息；
一种基于网络管理平台与数据分析的网络监控系统还包括：
自动数据注入单元：将数据库中的数据实时或根据用户需求注入到显示单元的网络拓扑中；
网络信息自动搜索单元：自动发现设备上的网络接口、设备板卡、线路、链路、处理器、内存、磁盘、数据库服务、中间件应用、软件服务资源信息，并将发现信息发送给数据采集单元，由数据采集单元进行数据采集。
2.一种基于网络管理平台与数据分析的网络监控方法，其特征在于，包括：
步骤1、数据采集单元以流量镜像的方式获取到网络数据包之后，把数据包提供给数据解析单元；
步骤2、数据解析单元解析以太网数据，如果是IPv4或者IPv6则继续深入解析，否则存储此数据包，只作计算吞吐量和流量网络数据；
步骤3、由步骤2得到IPv4和IPv6的数据继续深入解析下一层，即传输层TCP/UDP，并统计出三次握手时间、服务器响应时间、数据传输时间、重传时延、RTTin、RTTout参数；
步骤4、提取下一层协议信息，下一层协议包括HTTP、FTP、SMTP、RCP和/或EFS应用层协议；
步骤5、进而解析所有客户要求解析的应用层协议，如果是解密协议需要客户提供接口规范以及公钥和私钥，进而解析应用层协议数据，提取交易信息，交易过程，交易量信息；
步骤6、接步骤1，在镜像数据的同时，基于SNP、ICMP网管技术，由显示单元获取客户网络拓扑图；
步骤7、网络信息自动搜索单元自动发现设备上的网络接口、设备板卡、线路、链路、处理器、内存、磁盘、数据库服务、中间件应用、软件服务设备资源信息。
CN201510575339.9A 2015-09-10 2015-09-10 一种基于网络管理平台与数据分析的网络监控系统及方法 Active CN105119756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510575339.9A CN105119756B (zh) 2015-09-10 2015-09-10 一种基于网络管理平台与数据分析的网络监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510575339.9A CN105119756B (zh) 2015-09-10 2015-09-10 一种基于网络管理平台与数据分析的网络监控系统及方法

Publications (2)

Publication Number Publication Date
CN105119756A CN105119756A (zh) 2015-12-02
CN105119756B true CN105119756B (zh) 2019-04-09

Family

ID=54667654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510575339.9A Active CN105119756B (zh) 2015-09-10 2015-09-10 一种基于网络管理平台与数据分析的网络监控系统及方法

Country Status (1)

Country Link
CN (1) CN105119756B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106130755B (zh) * 2016-06-15 2019-10-29 成都科来软件有限公司 一种应用系统及其主机、网络的运行状态表示方法和系统
CN107846460B (zh) * 2017-10-30 2020-09-25 中国人民解放军战略支援部队航天工程大学 一种军事信息系统信息流的复现系统及方法
CN108667921B (zh) * 2018-04-27 2021-12-14 中国农业银行股份有限公司 一种基于网络旁路的银行业务推荐信息生成方法及系统
CN108712306A (zh) * 2018-05-10 2018-10-26 国网宁夏电力有限公司信息通信公司 一种信息系统自动化巡检平台和巡检方法
CN108989151B (zh) * 2018-07-20 2020-08-28 北京云杉世纪网络科技有限公司 用于网络或应用性能管理的流量采集方法
CN109361674B (zh) * 2018-10-29 2021-06-29 杭州安恒信息技术股份有限公司 旁路接入的流式数据检测方法、装置以及电子设备
CN116016720A (zh) * 2022-12-14 2023-04-25 湖南智领通信科技有限公司 一种多接口多通道在线离线网络协议解析系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794661A (zh) * 2005-12-26 2006-06-28 北京交通大学 一种基于IPv6的网络性能分析报告系统及实现方法
CN102932201A (zh) * 2012-09-26 2013-02-13 迈普通信技术股份有限公司 一种网络监控数据的显示控制系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438481B2 (en) * 2013-03-15 2016-09-06 NETBRAIN Technologies, Inc Sample driven visual programming system for network management

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794661A (zh) * 2005-12-26 2006-06-28 北京交通大学 一种基于IPv6的网络性能分析报告系统及实现方法
CN102932201A (zh) * 2012-09-26 2013-02-13 迈普通信技术股份有限公司 一种网络监控数据的显示控制系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SNMP的校园网络管理系统设计与实现;刘颖;《中国优秀硕士论文全文数据库 信息科技辑》;20101015;全文

Also Published As

Publication number Publication date
CN105119756A (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
CN105119756B (zh) 一种基于网络管理平台与数据分析的网络监控系统及方法
CN106101015B (zh) 一种移动互联网流量类别标记方法和系统
CN104488231B (zh) 用于有选择地监视流量的方法、设备和系统
EP2240854B1 (en) Method of resolving network address to host names in network flows for network device
CN102307123B (zh) 基于传输层流量特征的nat流量识别方法
CN102271090B (zh) 基于传输层特征的流量分类方法及装置
Inacio et al. {YAF}: Yet another flowmeter
US20030225549A1 (en) Systems and methods for end-to-end quality of service measurements in a distributed network environment
KR20080031177A (ko) 분산 트래픽 분석
CN102484653A (zh) 客户端-服务器应用的测量属性
CN102088377B (zh) 一种用于资产管理的人机对应方法及装置
CN109995582A (zh) 基于实时状态的资产设备管理系统及方法
CN103945219A (zh) 一种网络侧视频质量监测系统
CN106572190A (zh) 信息通信运行数据自主采集方法
CN102959514B (zh) 在计算机网络中发送数据的方法、系统、服务器、设备、计算机程序和计算机程序产品
CN104468343B (zh) 报文处理方法、sdn转发设备以及sdn控制器
CN101321097A (zh) 基于净荷深度检测的腾讯网络直播业务识别方法
Solomon et al. Network traffic monitoring in an industrial environment
Babaoglu et al. A verification service architecture for the future internet
Madan et al. Cloud network management model A novel approach to manage cloud traffic
CN101409647A (zh) 一种对用户路由器提供流量监控及分析的方法
KR100621996B1 (ko) 인터넷 서비스 트래픽의 분석방법 및 시스템
Brändli et al. Network insights in OpenTelemetry
Dahar et al. Optimizing server monitoring through graphs methods using BandwidthD for two subnets on a network
Jiang et al. A Multi-service Traffic Generation System for Emulation of Space Information Networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant