CN102970189A - 一种基于应用层数据的网络数据分析方法和系统 - Google Patents

一种基于应用层数据的网络数据分析方法和系统 Download PDF

Info

Publication number
CN102970189A
CN102970189A CN2012105214756A CN201210521475A CN102970189A CN 102970189 A CN102970189 A CN 102970189A CN 2012105214756 A CN2012105214756 A CN 2012105214756A CN 201210521475 A CN201210521475 A CN 201210521475A CN 102970189 A CN102970189 A CN 102970189A
Authority
CN
China
Prior art keywords
data
application layer
packet
address
layer data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105214756A
Other languages
English (en)
Other versions
CN102970189B (zh
Inventor
糜波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201210521475.6A priority Critical patent/CN102970189B/zh
Publication of CN102970189A publication Critical patent/CN102970189A/zh
Application granted granted Critical
Publication of CN102970189B publication Critical patent/CN102970189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于应用层数据的网络数据分析方法和系统。本方法为:首先读取网络数据,并解析当前数据包是否为应用层数据包;如果不是,则丢弃;否则解析出每个网络数据包的五元组(源IP地址、目的IP地址、源端口、目的端口、运输层协议)和应用层数据;然后根据设定特征对解析出的应用层数据进行过滤,得到符合设定特征的应用层数据;或者将满足设定特征的应用层数据显示为设定颜色,突出显示符合设定特征的应用层数据。本发明可以使得分析软件的通讯内容、审计网络内容变得更加方便,提高工作效率,并且可以根据具体的网络协议定制分析功能,使得分析工作变得更加灵活并具有可扩展性。

Description

一种基于应用层数据的网络数据分析方法和系统
技术领域
本发明属于计算机网络领域,涉及到一种网络数据分析的方法和系统。
背景技术
如今很多软件都具有网络通讯功能,比如QQ、IE浏览器、360安全卫士等,作为网络管理员,掌握、分析软件的网络通信内容、审计网络行为等工作,是具有重要意义的。此外,对于信息安全的技术人员来说,分析网络数据、寻找数据传输过程中的漏洞同样是一件非常重要的工作。
通常来讲网络数据分为四层:应用层、运输层、网络层、链路层。目前业界广泛使用的网络分析软件有Wireshark、Sniffer等,这些软件有个共同的特点:功能过于庞杂、分析数据不灵活、可定制分析能力弱,尤其这些软件是基于链路层的数据展现和分析的,对应用层数据分析的能力薄弱。但是我们分析像QQ、IE浏览器等软件的网络数据时,我们更多关注的是它们通讯的应用层数据,基于应用层数据分析的系统相对于Wireshark、Sniffer等软件来说,能够剔除很多我们不关心的数据,将为我们的分析工作带来极大的便利,能使得工作效率大幅提高。
发明内容
针对现有技术中存在的技术问题,本发明的目的在于提供一种基于网络应用层数据的分析方法和系统。使用本发明可以更方便直观的分析软件的网络行为,大大提高分析网络通讯软件的数据的效率。
本发明的主要技术内容如下:
1)通过实时截获或从文件中读取得到的网络数据中,解析出每个数据包的源IP地址、目的IP地址、源端口、目的端口、运输层协议(这五项以下称为五元组)和应用层数据。采用列表形式展现每个数据包的五元组和应用层数据,每个数据包占用列表的一行显示,上述应用层数据可以采用16进制或者ASCII方式显示。通过列表方式展现数据,用户可以很清楚的看到应用层数据前后是如何变化的。
2)可以对应用层数据按照应用层的数据特征、源IP地址、目的IP地址、源端口、目的端口等进行过滤,过滤掉无用的数据,重点显示需要分析数据。比如应用层数据第一字节为80,第二字节逐数据包递增,且源ip为202.44.52.38,把符合这个条件的数据显示给户。类似这样特征往往是某一软件通讯数据的特征。
3)对数据进行智能分析,并根据分析结果智能着色。首先,用户可以指定某一IP地址,根据五元组对由该IP发出和接收的数据以不同颜色标记,这样软件收发数据的行为就一目了然的展现给用户。其次,对于连续的数据包,前后数据出现始终不变或者呈现有规律变化,系统通过分析自动以不同颜色标记,方便用户辨认。比如每个数据包应用层数据前四字节是始终固定不变,则系统把它标记为蓝色;第五、六字节是不断递增的,则系统把它标记为红色。例如第一个数据包应用层数据的第五、六字节是02 34,第二个数据包是02 35,第三个数据02 36。这样让用户可以很清晰的看到数据的变化规律。
4)系统可以仅在应用层数据中查找特定的数据,而不像Wireshark、Sniffer等网络分析软件是基于链路层查找特定数据,有时找到的数据不在应用层,不是我们想要的数据。
5)系统展现出来的结果提供输出接口,供其他程序使用,这样可以为不同的网络协议提供定制功能,提高系统的扩展性。
本发明的有益效果是:
使用本发明可以使得分析软件的通讯内容、审计网络内容变得更加方便,提高工作效率,并且可以根据具体的网络协议定制分析功能,使得分析工作变得更加灵活并具有可扩展性。
附图说明
图1为本发明的结构示意图;
图2为本发明的流程图。
具体实施方式
结合附图,进一步阐述本发明的实施方案:
实施本发明的系统结构如图1所示,包括数据输入模块、数据处理模块、数据过滤模块和数据输出模块。数据输入模块接收网络数据,并从中解析出五元组和应用层数据;接着结果会进入数据处理模块,首先数据会进入智能分析子模块,分析由某一IP地址发出或者接收到的数据,同时也分析前后数据包的变化规律,比如某几节始终不变,某几字节逐包递增或者递减等,分析结果会传递智能着色子模块对显示的数据着色。另外,数据输入模块输出的五元组和应用层数据也会进入数据过滤模块的过滤子模块和搜索子模块中。过滤子模块负责通过给五元组限制条件和应用层数据特征过滤数据,搜索子模块负责在应用层数据里搜索特定数据。数据处理模块和数据过滤模块的输出数据都会传递给数据输出模块,该模块负责为用户展现最终结果。数据输出模块也会把结果输出给二次开发接口,供用户做定制开发。
本发明的方法流程如图2所示:
1)系统通过实时截获或者从文件读取得到网络数据。
2)解析数据包看是否有应用层数据,如果有则解析出应用层数据以及对应的五元组。
3)五元组和应用层数据被送入智能分析子模块,分析的结果被送入智能着色子模块,然后被送入数据输出模块,显示给用户。分析和着色的结果以及五元组、应用层数据都能通过特定接口提供给用户做二次开发。
4)五元组和应用层数据也被送入应用层数据过滤子模块和数据搜索子模块,处理结果同样会送入数据输出模块,展现给用户,处理结果亦会通过特定接口提供给用户做二次开发。

Claims (10)

1.一种基于应用层数据的网络数据分析方法,其步骤为:
1)读取网络数据,并解析当前数据包是否包含应用层数据包;如果不是,则丢弃;否则解析出每个网络数据包的五元组(源IP地址、目的IP地址、源端口、目的端口、运输层协议)和应用层数据;
2)根据设定特征对解析出的应用层数据进行过滤,得到符合设定特征的应用层数据;或者将满足设定特征的应用层数据显示为设定颜色,突出显示符合设定特征的应用层数据。
2.如权利要求1所述的方法,其特征在于采用列表形式展现每个数据包的五元组和应用层数据,每个数据包占用列表的一行显示。
3.如权利要求2所述的方法,其特征在于采用16进制或者ASCII方式显示所述应用层数据。
4.如权利要求1所述的方法,其特征在于所述设定特征为下列特征的一个或多个特征组合:
应用层的数据特征、源IP地址、目的IP地址、源端口、目的端口。
5.如权利要求1或4所述的方法,其特征在于所述设定特征为源IP地址或目的IP地址;根据解析的五元组对由某一IP地址发出和接收的数据分别以设定颜色标记。
6.如权利要求1或4所述的方法,其特征在于所述设定特征为应用层的数据特征;对于连续的数据包,将前后数据出现始终不变或者呈现有规律变化的数据以设定颜色标记。
7.一种基于应用层数据的网络数据分析系统,其特征在于包括数据输入模块、数据处理模块、数据过滤模块和数据输出模块;其中,
数据输入模块,用于接收网络数据并解析出每个网络数据包的五元组(源IP地址、目的IP地址、源端口、目的端口、运输层协议)和应用层数据;将解析结果发送给数据处理模块和数据过滤模块;
数据处理模块,用于根据设定的特征对应用层数据进行处理,将满足设定的特征的应用层数据显示为设定颜色,并发送给数据输出模块;
数据过滤模块,用于根据设定的特征对解析出的应用层数据进行过滤,得到符合设定特征的应用层数据,并将过滤后的数据发送给数据输出模块;
数据输出模块,用于显示数据处理模块或数据过滤模块处理后的应用层数据。
8.如权利要求7所述的系统,其特征在于所述数据输出模块采用列表形式展现每个数据包的五元组和应用层数据,每个数据包占用列表的一行显示;所述数据输出模块采用16进制或者ASCII方式显示所述应用层数据。
9.如权利要求7所述的系统,其特征在于所述设定特征为下列特征的一个或多个特征组合:应用层的数据特征、源IP地址、目的IP地址、源端口、目的端口。
10.如权利要求7所述的系统,其特征在于所述设定特征为应用层的数据特征;所述应用层的数据特征为前后数据包的某几节始终不变,或者某几字节逐包递增,或者某几字节逐包递减。
CN201210521475.6A 2012-12-06 2012-12-06 一种基于应用层数据的网络数据分析方法和系统 Active CN102970189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210521475.6A CN102970189B (zh) 2012-12-06 2012-12-06 一种基于应用层数据的网络数据分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210521475.6A CN102970189B (zh) 2012-12-06 2012-12-06 一种基于应用层数据的网络数据分析方法和系统

Publications (2)

Publication Number Publication Date
CN102970189A true CN102970189A (zh) 2013-03-13
CN102970189B CN102970189B (zh) 2016-06-29

Family

ID=47800080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210521475.6A Active CN102970189B (zh) 2012-12-06 2012-12-06 一种基于应用层数据的网络数据分析方法和系统

Country Status (1)

Country Link
CN (1) CN102970189B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014187414A1 (zh) * 2013-12-13 2014-11-27 中兴通讯股份有限公司 应用会话五元组的获取方法、装置及计算机存储介质
CN104270469A (zh) * 2014-10-23 2015-01-07 国家电网公司 遥控数据处理方法及系统
CN105610604A (zh) * 2015-12-16 2016-05-25 网宿科技股份有限公司 Tcp传输数据的图形化分析方法和系统
CN112104670A (zh) * 2020-11-11 2020-12-18 北京城市轨道交通咨询有限公司 一种基于链路映射解析轨道交通数据的方法及装置
CN112637017A (zh) * 2020-12-25 2021-04-09 深圳市高德信通信股份有限公司 一种基于应用层数据的网络数据分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1763172A (zh) * 2005-10-17 2006-04-26 涂选来 食用菌混合料全自动翻料机
CN1794661A (zh) * 2005-12-26 2006-06-28 北京交通大学 一种基于IPv6的网络性能分析报告系统及实现方法
EP1763172A1 (en) * 2005-09-12 2007-03-14 Avaya Technology Llc Method and apparatus for network protocol performance assessment
CN101232664A (zh) * 2007-01-24 2008-07-30 中兴通讯股份有限公司 一种显示手机中消息内容的方法
CN101404650A (zh) * 2008-11-19 2009-04-08 中国电信股份有限公司 一种细分网络应用服务质量的方法和系统
CN101729542A (zh) * 2009-11-26 2010-06-09 上海大学 基于网络数据包的多协议信息解析的系统
CN102045209A (zh) * 2009-10-20 2011-05-04 中兴通讯股份有限公司 一种网络应用监测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1763172A1 (en) * 2005-09-12 2007-03-14 Avaya Technology Llc Method and apparatus for network protocol performance assessment
CN1763172A (zh) * 2005-10-17 2006-04-26 涂选来 食用菌混合料全自动翻料机
CN1794661A (zh) * 2005-12-26 2006-06-28 北京交通大学 一种基于IPv6的网络性能分析报告系统及实现方法
CN101232664A (zh) * 2007-01-24 2008-07-30 中兴通讯股份有限公司 一种显示手机中消息内容的方法
CN101404650A (zh) * 2008-11-19 2009-04-08 中国电信股份有限公司 一种细分网络应用服务质量的方法和系统
CN102045209A (zh) * 2009-10-20 2011-05-04 中兴通讯股份有限公司 一种网络应用监测方法及系统
CN101729542A (zh) * 2009-11-26 2010-06-09 上海大学 基于网络数据包的多协议信息解析的系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014187414A1 (zh) * 2013-12-13 2014-11-27 中兴通讯股份有限公司 应用会话五元组的获取方法、装置及计算机存储介质
CN104717184A (zh) * 2013-12-13 2015-06-17 中兴通讯股份有限公司 一种终端应用会话五元组的获取方法及装置
CN104717184B (zh) * 2013-12-13 2019-02-05 中兴通讯股份有限公司 一种终端应用会话五元组的获取方法及装置
CN104270469A (zh) * 2014-10-23 2015-01-07 国家电网公司 遥控数据处理方法及系统
CN104270469B (zh) * 2014-10-23 2018-12-28 国家电网公司 遥控数据处理方法及系统
CN105610604A (zh) * 2015-12-16 2016-05-25 网宿科技股份有限公司 Tcp传输数据的图形化分析方法和系统
WO2017101656A1 (zh) * 2015-12-16 2017-06-22 网宿科技股份有限公司 Tcp传输数据的图形化分析方法和系统
CN105610604B (zh) * 2015-12-16 2019-03-22 网宿科技股份有限公司 Tcp传输数据的图形化分析方法和系统
CN112104670A (zh) * 2020-11-11 2020-12-18 北京城市轨道交通咨询有限公司 一种基于链路映射解析轨道交通数据的方法及装置
CN112637017A (zh) * 2020-12-25 2021-04-09 深圳市高德信通信股份有限公司 一种基于应用层数据的网络数据分析方法
CN112637017B (zh) * 2020-12-25 2022-02-08 深圳市高德信通信股份有限公司 一种基于应用层数据的网络数据分析方法

Also Published As

Publication number Publication date
CN102970189B (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN102970189B (zh) 一种基于应用层数据的网络数据分析方法和系统
US11481383B2 (en) Key name synthesis
EP2810089B1 (en) Systems and methods for packet filtering and switching
CN101938366B (zh) 一种实现关联告警的方法及装置
US9584533B2 (en) Performance enhancements for finding top traffic patterns
CN103067218B (zh) 一种高速网络数据包内容分析装置
CN102238021A (zh) 报文序列查找方法、协议分析引擎和协议分析仪
CN107360174B (zh) 一种基于进程的网络数据流量分析方法
CN114710416B (zh) 一种基于工艺流程的网络流量实时数据采集方法
CN103024819B (zh) 基于用户终端ip的第三代移动通信核心网数据分流方法
CN113055238A (zh) 一种网络探测方法、平台和计算机可读存储介质
CN103701592B (zh) 数据截取和加解密的方法及系统
Luxemburk et al. CESNET-QUIC22: A large one-month QUIC network traffic dataset from backbone lines
CN107896141A (zh) 一种fc‑ae‑asm网络数据冗余方法
CN113485282B (zh) 分散控制系统消息跟踪展示方法、系统、设备及存储介质
CN112953841B (zh) 报文分流方法及系统
WO2016201876A1 (zh) 一种加密流量的业务识别方法、装置和计算机存储介质
CN113472798A (zh) 一种网络数据包的回溯解析方法、装置、设备及介质
CN103004145A (zh) 一种虚拟专用网络的分流方法、分流设备和分流系统
CN117176802A (zh) 一种业务请求的全链路监控方法、装置、电子设备及介质
CN110989537A (zh) 生产数据处理方法、设备、介质及系统
CN111080362A (zh) 广告监测系统及方法
CN112910842B (zh) 一种基于流量还原的网络攻击事件取证方法与装置
CN111901138B (zh) 一种工业网络非法接入的可视化审计方法
CN110807021B (zh) 一种基于可搜索加密的数据库审计系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Network Data Analysis Method and System Based on Application Layer Data

Effective date of registration: 20230807

Granted publication date: 20160629

Pledgee: Bank of China Limited Beijing Xicheng Branch

Pledgor: RUN TECHNOLOGIES Co.,Ltd. BEIJING

Registration number: Y2023980051158

PE01 Entry into force of the registration of the contract for pledge of patent right