CN102970189A - 一种基于应用层数据的网络数据分析方法和系统 - Google Patents
一种基于应用层数据的网络数据分析方法和系统 Download PDFInfo
- Publication number
- CN102970189A CN102970189A CN2012105214756A CN201210521475A CN102970189A CN 102970189 A CN102970189 A CN 102970189A CN 2012105214756 A CN2012105214756 A CN 2012105214756A CN 201210521475 A CN201210521475 A CN 201210521475A CN 102970189 A CN102970189 A CN 102970189A
- Authority
- CN
- China
- Prior art keywords
- data
- application layer
- packet
- address
- layer data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000007405 data analysis Methods 0.000 title claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 239000003086 colorant Substances 0.000 claims abstract description 4
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 4
- 238000012550 audit Methods 0.000 abstract description 2
- 238000004040 coloring Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种基于应用层数据的网络数据分析方法和系统。本方法为:首先读取网络数据,并解析当前数据包是否为应用层数据包;如果不是,则丢弃;否则解析出每个网络数据包的五元组(源IP地址、目的IP地址、源端口、目的端口、运输层协议)和应用层数据;然后根据设定特征对解析出的应用层数据进行过滤,得到符合设定特征的应用层数据;或者将满足设定特征的应用层数据显示为设定颜色,突出显示符合设定特征的应用层数据。本发明可以使得分析软件的通讯内容、审计网络内容变得更加方便,提高工作效率,并且可以根据具体的网络协议定制分析功能,使得分析工作变得更加灵活并具有可扩展性。
Description
技术领域
本发明属于计算机网络领域,涉及到一种网络数据分析的方法和系统。
背景技术
如今很多软件都具有网络通讯功能,比如QQ、IE浏览器、360安全卫士等,作为网络管理员,掌握、分析软件的网络通信内容、审计网络行为等工作,是具有重要意义的。此外,对于信息安全的技术人员来说,分析网络数据、寻找数据传输过程中的漏洞同样是一件非常重要的工作。
通常来讲网络数据分为四层:应用层、运输层、网络层、链路层。目前业界广泛使用的网络分析软件有Wireshark、Sniffer等,这些软件有个共同的特点:功能过于庞杂、分析数据不灵活、可定制分析能力弱,尤其这些软件是基于链路层的数据展现和分析的,对应用层数据分析的能力薄弱。但是我们分析像QQ、IE浏览器等软件的网络数据时,我们更多关注的是它们通讯的应用层数据,基于应用层数据分析的系统相对于Wireshark、Sniffer等软件来说,能够剔除很多我们不关心的数据,将为我们的分析工作带来极大的便利,能使得工作效率大幅提高。
发明内容
针对现有技术中存在的技术问题,本发明的目的在于提供一种基于网络应用层数据的分析方法和系统。使用本发明可以更方便直观的分析软件的网络行为,大大提高分析网络通讯软件的数据的效率。
本发明的主要技术内容如下:
1)通过实时截获或从文件中读取得到的网络数据中,解析出每个数据包的源IP地址、目的IP地址、源端口、目的端口、运输层协议(这五项以下称为五元组)和应用层数据。采用列表形式展现每个数据包的五元组和应用层数据,每个数据包占用列表的一行显示,上述应用层数据可以采用16进制或者ASCII方式显示。通过列表方式展现数据,用户可以很清楚的看到应用层数据前后是如何变化的。
2)可以对应用层数据按照应用层的数据特征、源IP地址、目的IP地址、源端口、目的端口等进行过滤,过滤掉无用的数据,重点显示需要分析数据。比如应用层数据第一字节为80,第二字节逐数据包递增,且源ip为202.44.52.38,把符合这个条件的数据显示给户。类似这样特征往往是某一软件通讯数据的特征。
3)对数据进行智能分析,并根据分析结果智能着色。首先,用户可以指定某一IP地址,根据五元组对由该IP发出和接收的数据以不同颜色标记,这样软件收发数据的行为就一目了然的展现给用户。其次,对于连续的数据包,前后数据出现始终不变或者呈现有规律变化,系统通过分析自动以不同颜色标记,方便用户辨认。比如每个数据包应用层数据前四字节是始终固定不变,则系统把它标记为蓝色;第五、六字节是不断递增的,则系统把它标记为红色。例如第一个数据包应用层数据的第五、六字节是02 34,第二个数据包是02 35,第三个数据02 36。这样让用户可以很清晰的看到数据的变化规律。
4)系统可以仅在应用层数据中查找特定的数据,而不像Wireshark、Sniffer等网络分析软件是基于链路层查找特定数据,有时找到的数据不在应用层,不是我们想要的数据。
5)系统展现出来的结果提供输出接口,供其他程序使用,这样可以为不同的网络协议提供定制功能,提高系统的扩展性。
本发明的有益效果是:
使用本发明可以使得分析软件的通讯内容、审计网络内容变得更加方便,提高工作效率,并且可以根据具体的网络协议定制分析功能,使得分析工作变得更加灵活并具有可扩展性。
附图说明
图1为本发明的结构示意图;
图2为本发明的流程图。
具体实施方式
结合附图,进一步阐述本发明的实施方案:
实施本发明的系统结构如图1所示,包括数据输入模块、数据处理模块、数据过滤模块和数据输出模块。数据输入模块接收网络数据,并从中解析出五元组和应用层数据;接着结果会进入数据处理模块,首先数据会进入智能分析子模块,分析由某一IP地址发出或者接收到的数据,同时也分析前后数据包的变化规律,比如某几节始终不变,某几字节逐包递增或者递减等,分析结果会传递智能着色子模块对显示的数据着色。另外,数据输入模块输出的五元组和应用层数据也会进入数据过滤模块的过滤子模块和搜索子模块中。过滤子模块负责通过给五元组限制条件和应用层数据特征过滤数据,搜索子模块负责在应用层数据里搜索特定数据。数据处理模块和数据过滤模块的输出数据都会传递给数据输出模块,该模块负责为用户展现最终结果。数据输出模块也会把结果输出给二次开发接口,供用户做定制开发。
本发明的方法流程如图2所示:
1)系统通过实时截获或者从文件读取得到网络数据。
2)解析数据包看是否有应用层数据,如果有则解析出应用层数据以及对应的五元组。
3)五元组和应用层数据被送入智能分析子模块,分析的结果被送入智能着色子模块,然后被送入数据输出模块,显示给用户。分析和着色的结果以及五元组、应用层数据都能通过特定接口提供给用户做二次开发。
4)五元组和应用层数据也被送入应用层数据过滤子模块和数据搜索子模块,处理结果同样会送入数据输出模块,展现给用户,处理结果亦会通过特定接口提供给用户做二次开发。
Claims (10)
1.一种基于应用层数据的网络数据分析方法,其步骤为:
1)读取网络数据,并解析当前数据包是否包含应用层数据包;如果不是,则丢弃;否则解析出每个网络数据包的五元组(源IP地址、目的IP地址、源端口、目的端口、运输层协议)和应用层数据;
2)根据设定特征对解析出的应用层数据进行过滤,得到符合设定特征的应用层数据;或者将满足设定特征的应用层数据显示为设定颜色,突出显示符合设定特征的应用层数据。
2.如权利要求1所述的方法,其特征在于采用列表形式展现每个数据包的五元组和应用层数据,每个数据包占用列表的一行显示。
3.如权利要求2所述的方法,其特征在于采用16进制或者ASCII方式显示所述应用层数据。
4.如权利要求1所述的方法,其特征在于所述设定特征为下列特征的一个或多个特征组合:
应用层的数据特征、源IP地址、目的IP地址、源端口、目的端口。
5.如权利要求1或4所述的方法,其特征在于所述设定特征为源IP地址或目的IP地址;根据解析的五元组对由某一IP地址发出和接收的数据分别以设定颜色标记。
6.如权利要求1或4所述的方法,其特征在于所述设定特征为应用层的数据特征;对于连续的数据包,将前后数据出现始终不变或者呈现有规律变化的数据以设定颜色标记。
7.一种基于应用层数据的网络数据分析系统,其特征在于包括数据输入模块、数据处理模块、数据过滤模块和数据输出模块;其中,
数据输入模块,用于接收网络数据并解析出每个网络数据包的五元组(源IP地址、目的IP地址、源端口、目的端口、运输层协议)和应用层数据;将解析结果发送给数据处理模块和数据过滤模块;
数据处理模块,用于根据设定的特征对应用层数据进行处理,将满足设定的特征的应用层数据显示为设定颜色,并发送给数据输出模块;
数据过滤模块,用于根据设定的特征对解析出的应用层数据进行过滤,得到符合设定特征的应用层数据,并将过滤后的数据发送给数据输出模块;
数据输出模块,用于显示数据处理模块或数据过滤模块处理后的应用层数据。
8.如权利要求7所述的系统,其特征在于所述数据输出模块采用列表形式展现每个数据包的五元组和应用层数据,每个数据包占用列表的一行显示;所述数据输出模块采用16进制或者ASCII方式显示所述应用层数据。
9.如权利要求7所述的系统,其特征在于所述设定特征为下列特征的一个或多个特征组合:应用层的数据特征、源IP地址、目的IP地址、源端口、目的端口。
10.如权利要求7所述的系统,其特征在于所述设定特征为应用层的数据特征;所述应用层的数据特征为前后数据包的某几节始终不变,或者某几字节逐包递增,或者某几字节逐包递减。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210521475.6A CN102970189B (zh) | 2012-12-06 | 2012-12-06 | 一种基于应用层数据的网络数据分析方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210521475.6A CN102970189B (zh) | 2012-12-06 | 2012-12-06 | 一种基于应用层数据的网络数据分析方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102970189A true CN102970189A (zh) | 2013-03-13 |
CN102970189B CN102970189B (zh) | 2016-06-29 |
Family
ID=47800080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210521475.6A Active CN102970189B (zh) | 2012-12-06 | 2012-12-06 | 一种基于应用层数据的网络数据分析方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102970189B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014187414A1 (zh) * | 2013-12-13 | 2014-11-27 | 中兴通讯股份有限公司 | 应用会话五元组的获取方法、装置及计算机存储介质 |
CN104270469A (zh) * | 2014-10-23 | 2015-01-07 | 国家电网公司 | 遥控数据处理方法及系统 |
CN105610604A (zh) * | 2015-12-16 | 2016-05-25 | 网宿科技股份有限公司 | Tcp传输数据的图形化分析方法和系统 |
CN112104670A (zh) * | 2020-11-11 | 2020-12-18 | 北京城市轨道交通咨询有限公司 | 一种基于链路映射解析轨道交通数据的方法及装置 |
CN112637017A (zh) * | 2020-12-25 | 2021-04-09 | 深圳市高德信通信股份有限公司 | 一种基于应用层数据的网络数据分析方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1763172A (zh) * | 2005-10-17 | 2006-04-26 | 涂选来 | 食用菌混合料全自动翻料机 |
CN1794661A (zh) * | 2005-12-26 | 2006-06-28 | 北京交通大学 | 一种基于IPv6的网络性能分析报告系统及实现方法 |
EP1763172A1 (en) * | 2005-09-12 | 2007-03-14 | Avaya Technology Llc | Method and apparatus for network protocol performance assessment |
CN101232664A (zh) * | 2007-01-24 | 2008-07-30 | 中兴通讯股份有限公司 | 一种显示手机中消息内容的方法 |
CN101404650A (zh) * | 2008-11-19 | 2009-04-08 | 中国电信股份有限公司 | 一种细分网络应用服务质量的方法和系统 |
CN101729542A (zh) * | 2009-11-26 | 2010-06-09 | 上海大学 | 基于网络数据包的多协议信息解析的系统 |
CN102045209A (zh) * | 2009-10-20 | 2011-05-04 | 中兴通讯股份有限公司 | 一种网络应用监测方法及系统 |
-
2012
- 2012-12-06 CN CN201210521475.6A patent/CN102970189B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1763172A1 (en) * | 2005-09-12 | 2007-03-14 | Avaya Technology Llc | Method and apparatus for network protocol performance assessment |
CN1763172A (zh) * | 2005-10-17 | 2006-04-26 | 涂选来 | 食用菌混合料全自动翻料机 |
CN1794661A (zh) * | 2005-12-26 | 2006-06-28 | 北京交通大学 | 一种基于IPv6的网络性能分析报告系统及实现方法 |
CN101232664A (zh) * | 2007-01-24 | 2008-07-30 | 中兴通讯股份有限公司 | 一种显示手机中消息内容的方法 |
CN101404650A (zh) * | 2008-11-19 | 2009-04-08 | 中国电信股份有限公司 | 一种细分网络应用服务质量的方法和系统 |
CN102045209A (zh) * | 2009-10-20 | 2011-05-04 | 中兴通讯股份有限公司 | 一种网络应用监测方法及系统 |
CN101729542A (zh) * | 2009-11-26 | 2010-06-09 | 上海大学 | 基于网络数据包的多协议信息解析的系统 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014187414A1 (zh) * | 2013-12-13 | 2014-11-27 | 中兴通讯股份有限公司 | 应用会话五元组的获取方法、装置及计算机存储介质 |
CN104717184A (zh) * | 2013-12-13 | 2015-06-17 | 中兴通讯股份有限公司 | 一种终端应用会话五元组的获取方法及装置 |
CN104717184B (zh) * | 2013-12-13 | 2019-02-05 | 中兴通讯股份有限公司 | 一种终端应用会话五元组的获取方法及装置 |
CN104270469A (zh) * | 2014-10-23 | 2015-01-07 | 国家电网公司 | 遥控数据处理方法及系统 |
CN104270469B (zh) * | 2014-10-23 | 2018-12-28 | 国家电网公司 | 遥控数据处理方法及系统 |
CN105610604A (zh) * | 2015-12-16 | 2016-05-25 | 网宿科技股份有限公司 | Tcp传输数据的图形化分析方法和系统 |
WO2017101656A1 (zh) * | 2015-12-16 | 2017-06-22 | 网宿科技股份有限公司 | Tcp传输数据的图形化分析方法和系统 |
CN105610604B (zh) * | 2015-12-16 | 2019-03-22 | 网宿科技股份有限公司 | Tcp传输数据的图形化分析方法和系统 |
CN112104670A (zh) * | 2020-11-11 | 2020-12-18 | 北京城市轨道交通咨询有限公司 | 一种基于链路映射解析轨道交通数据的方法及装置 |
CN112637017A (zh) * | 2020-12-25 | 2021-04-09 | 深圳市高德信通信股份有限公司 | 一种基于应用层数据的网络数据分析方法 |
CN112637017B (zh) * | 2020-12-25 | 2022-02-08 | 深圳市高德信通信股份有限公司 | 一种基于应用层数据的网络数据分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102970189B (zh) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102970189B (zh) | 一种基于应用层数据的网络数据分析方法和系统 | |
US11481383B2 (en) | Key name synthesis | |
EP2810089B1 (en) | Systems and methods for packet filtering and switching | |
CN101938366B (zh) | 一种实现关联告警的方法及装置 | |
US9584533B2 (en) | Performance enhancements for finding top traffic patterns | |
CN103067218B (zh) | 一种高速网络数据包内容分析装置 | |
CN102238021A (zh) | 报文序列查找方法、协议分析引擎和协议分析仪 | |
CN107360174B (zh) | 一种基于进程的网络数据流量分析方法 | |
CN114710416B (zh) | 一种基于工艺流程的网络流量实时数据采集方法 | |
CN103024819B (zh) | 基于用户终端ip的第三代移动通信核心网数据分流方法 | |
CN113055238A (zh) | 一种网络探测方法、平台和计算机可读存储介质 | |
CN103701592B (zh) | 数据截取和加解密的方法及系统 | |
Luxemburk et al. | CESNET-QUIC22: A large one-month QUIC network traffic dataset from backbone lines | |
CN107896141A (zh) | 一种fc‑ae‑asm网络数据冗余方法 | |
CN113485282B (zh) | 分散控制系统消息跟踪展示方法、系统、设备及存储介质 | |
CN112953841B (zh) | 报文分流方法及系统 | |
WO2016201876A1 (zh) | 一种加密流量的业务识别方法、装置和计算机存储介质 | |
CN113472798A (zh) | 一种网络数据包的回溯解析方法、装置、设备及介质 | |
CN103004145A (zh) | 一种虚拟专用网络的分流方法、分流设备和分流系统 | |
CN117176802A (zh) | 一种业务请求的全链路监控方法、装置、电子设备及介质 | |
CN110989537A (zh) | 生产数据处理方法、设备、介质及系统 | |
CN111080362A (zh) | 广告监测系统及方法 | |
CN112910842B (zh) | 一种基于流量还原的网络攻击事件取证方法与装置 | |
CN111901138B (zh) | 一种工业网络非法接入的可视化审计方法 | |
CN110807021B (zh) | 一种基于可搜索加密的数据库审计系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Network Data Analysis Method and System Based on Application Layer Data Effective date of registration: 20230807 Granted publication date: 20160629 Pledgee: Bank of China Limited Beijing Xicheng Branch Pledgor: RUN TECHNOLOGIES Co.,Ltd. BEIJING Registration number: Y2023980051158 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |