CN106790693A - 一种网络数据包的分析方法及系统 - Google Patents

一种网络数据包的分析方法及系统 Download PDF

Info

Publication number
CN106790693A
CN106790693A CN201710091527.3A CN201710091527A CN106790693A CN 106790693 A CN106790693 A CN 106790693A CN 201710091527 A CN201710091527 A CN 201710091527A CN 106790693 A CN106790693 A CN 106790693A
Authority
CN
China
Prior art keywords
task
calculate node
message queue
network packet
node group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710091527.3A
Other languages
English (en)
Inventor
赵明月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Funaier Technology Co Ltd
Original Assignee
Beijing Funaier Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Funaier Technology Co Ltd filed Critical Beijing Funaier Technology Co Ltd
Priority to CN201710091527.3A priority Critical patent/CN106790693A/zh
Publication of CN106790693A publication Critical patent/CN106790693A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络数据包的分析方法及系统，分析方法包括：获取网络数据包；根据解析对象将该网络数据包的分析内容划分为多个任务，并确定执行顺序；创建与该多个任务一一对应的多个消息队列和多个计算节点组；将该网络数据包缓存至与起始任务对应的消息队列；每个计算节点组依次执行以下动作直至最后一个任务被执行：获取与计算节点组自身对应的消息队列中的所有数据，并执行对应的任务，以及将执行的结果发送至下一个消息队列。与现有相比，本发明中网络数据包的分析内容被拆分为多个任务，并将其分发至不同的计算节点组，以消息队列为核心进行分布式地处理，大大地提高了处理能力，减少了不同计算节点之间的耦合性，实现了水平扩展。

Description

一种网络数据包的分析方法及系统
技术领域
本发明涉及网络数据包领域，尤其涉及一种网络数据包的分析方法及系统。
背景技术
数据包分析，通常也被称为数据包嗅探或协议分析，指的是捕获和解析网络上在线传输数据的过程，通常目的是为了能更好地了解网络上正在发生的事情。数据包分析技术可以通过以下方法来达到目标：了解网络特征、查看网络上的通信主体、确认谁或是哪些应用在占用网络带宽、识别网络使用的高峰时间、识别可能的攻击或恶意活动、寻找不安全以及滥用网络资源的应用。
随着企业的发展和企业规模的扩大，企业网络流量也随之扩大，传统的网络分析设备已经无法满足大规模内网的网络数据的分析需求。
发明内容
有鉴于此，本发明是为了克服现有技术中无法满足大规模网络数据的分析需求的缺陷，提供一种能够扩展的、分布式的网络数据包的分析方法及系统。
本发明的目的是通过以下技术方案实现的：
一种网络数据包的分析方法，其特征在于，包括以下步骤：
S1、获取网络数据包；
S2、根据解析对象将该网络数据包的分析内容划分为多个任务，并确定该多个任务的执行顺序；
S3、创建与该多个任务一一对应的多个消息队列和多个计算节点组，其中，每个计算节点组包括至少一个计算节点；
S4、将该网络数据包缓存至与该多个任务中的起始任务对应的消息队列；
S5、根据该执行顺序每个计算节点组依次执行以下动作直至最后一个任务被执行：获取与计算节点组自身对应的消息队列中的所有数据，并执行与该计算节点组对应的任务，以及将执行的结果发送至下一个任务对应的消息队列。
较佳地，当最后一个任务被执行完时，与该最后一个任务对应的计算节点组将执行的结果发送至与该计算节点组对应的消息队列。
较佳地，该解析对象包括IP地址、端口、网络协议和URL地址。
较佳地，所有的消息队列属于一个集群，所有的计算节点组属于另一个集群。
本发明还提供一种网络数据包的分析系统，包括一主机、一第一集群以及一第二集群，
该主机用于获取网络数据包，并根据解析对象将该网络数据包的分析内容划分为多个任务，以及确定该多个任务的执行顺序；
该第一集群包括与该多个任务一一对应的多个消息队列；
该第二集群包括与该多个任务一一对应的多个计算节点组，其中，每个计算节点组包括至少一个计算节点；
该主机还用于将该网络数据包缓存至与该多个任务中的起始任务对应的消息队列中；
每个计算节点组用于根据该执行顺序依次执行以下动作直至最后一个任务被执行：获取与计算节点组自身对应的消息队列中的所有数据，并执行与该计算节点组对应的任务，以及将执行的结果发送至下一个任务对应的消息队列。
本领域的技术人员应当理解，当与最后一个任务对应的计算节点组用于将执行的结果发送至与该计算节点组对应的消息队列。
较佳地，该解析对象包括IP地址、端口、网络协议和/或URL地址。
与现有技术相比，本发明至少具有以下优点：
通过上述本发明的技术方案，本发明中网络数据包的分析内容被拆分为多个任务，并将其分发至不同的计算节点组，以消息队列为核心进行分布式地处理，大大地提高了处理能力，减少了不同计算节点之间的耦合性。同时，还可以实现水平扩展，在硬件资源丰富的情况下可以无限制扩展。
附图说明
图1为本发明实施例提供的网络数据包的分析系统的结构框图；
图2为本发明实施例提供的网络数据包的分析方法的流程图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种网络数据包的分析系统，如图1所示，包括主机11、第一集群12以及第二集群13，
主机11用于获取网络数据包，并根据解析对象将该网络数据包的分析内容划分为任务A、B和C，并确定执行顺序依次为任务A、B和C。
具体地，任务A为解析IP地址和端口信息，任务B为解析网络协议，任务C为解析URL地址。
第一集群12包括与任务A一一对应的消息队列QA、与任务B一一对应的消息队列QB以及与任务C一一对应的消息队列QC。
第二集群13包括与任务A一一对应的计算节点组NA、与任务B一一对应的计算节点组NB以及与任务C一一对应的计算节点组NC。其中，计算节点组NA包括计算节点NA1、NA2和NA3，计算节点组NB包括计算节点NB1、NB2和NB3，计算节点组NC包括计算节点NC1和NC2。
主机11还用于将该网络数据包缓存至消息队列QA。
每个计算节点组用于根据该执行顺序获取与计算节点组自身对应的消息队列中的所有数据，并执行与该计算节点组对应的任务，以及将执行的结果发送至下一个任务对应的消息队列，直至任务C被执行。
本实施例还提供一种网络数据包的分析方法，如图2所示，包括以下步骤：
步骤101、获取网络数据包；
步骤102、将该网络数据包的分析内容划分为任务A、B、C，并确定执行顺序依次为任务A、B、C；
步骤103、创建消息队列QA、QB和QC，以及计算节点组NA、NB和NC；
步骤104、将该网络数据包缓存至消息队列QA；
步骤105、计算节点组NA获取消息队列QA中的所有数据，执行任务A，将执行的结果发送至消息队列QB；
步骤106、计算节点组NB获取消息队列QB中的所有数据，执行任务B，将执行的结果发送至消息队列QC；
步骤107、计算节点组NC获取消息队列QC中的所有数据，执行任务C。
其中，任务A分别与消息队列QA和计算节点组NA对应，任务B分别与消息队列QB和计算节点组NB对应，任务C分别与消息队列QC和计算节点组NC对应。步骤107中，计算节点组NC可以将执行的结果发送至与消息队列QC，也可以将执行的结果直接保存。
本实施例中，网络数据包的分析内容被拆分为3个任务，并将其分发至不同的计算节点组，以消息队列为核心进行分布式地处理，大大地提高了处理能力，减少了不同计算节点之间的耦合性。同时还实现了水平扩展，在硬件资源丰富的情况下可以无限制扩展。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种网络数据包的分析方法，其特征在于，包括以下步骤：
S1、获取网络数据包；
S2、根据解析对象将该网络数据包的分析内容划分为多个任务，并确定该多个任务的执行顺序；
S3、创建与该多个任务一一对应的多个消息队列和多个计算节点组，其中，每个计算节点组包括至少一个计算节点；
S4、将该网络数据包缓存至与该多个任务中的起始任务对应的消息队列；
S5、根据该执行顺序每个计算节点组依次执行以下动作直至最后一个任务被执行：获取与计算节点组自身对应的消息队列中的所有数据，并执行与该计算节点组对应的任务，以及将执行的结果发送至下一个任务对应的消息队列。
2.如权利要求1所述的分析方法，其特征在于，当最后一个任务被执行完时，与该最后一个任务对应的计算节点组将执行的结果发送至与该计算节点组对应的消息队列。
3.如权利要求1所述的分析方法，其特征在于，该解析对象包括IP地址、端口、网络协议和URL地址。
4.如权利要求1所述的分析方法，其特征在于，所有的消息队列属于一个集群，所有的计算节点组属于另一个集群。
5.一种网络数据包的分析系统，其特征在于，包括一主机、一第一集群以及一第二集群，
该主机用于获取网络数据包，并根据解析对象将该网络数据包的分析内容划分为多个任务，以及确定该多个任务的执行顺序；
该第一集群包括与该多个任务一一对应的多个消息队列；
该第二集群包括与该多个任务一一对应的多个计算节点组，其中，每个计算节点组包括至少一个计算节点；
该主机还用于将该网络数据包缓存至与该多个任务中的起始任务对应的消息队列中；
每个计算节点组用于根据该执行顺序依次执行以下动作直至最后一个任务被执行：获取与计算节点组自身对应的消息队列中的所有数据，并执行与该计算节点组对应的任务，以及将执行的结果发送至下一个任务对应的消息队列。
6.如权利要求5所述的分析系统，其特征在于，与最后一个任务对应的计算节点组用于将执行的结果发送至与该计算节点组对应的消息队列。
7.如权利要求5所述的分析系统，其特征在于，该解析对象包括IP地址、端口、网络协议和/或URL地址。
CN201710091527.3A 2017-02-20 2017-02-20 一种网络数据包的分析方法及系统 Pending CN106790693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710091527.3A CN106790693A (zh) 2017-02-20 2017-02-20 一种网络数据包的分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710091527.3A CN106790693A (zh) 2017-02-20 2017-02-20 一种网络数据包的分析方法及系统

Publications (1)

Publication Number Publication Date
CN106790693A true CN106790693A (zh) 2017-05-31

Family

ID=58958683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710091527.3A Pending CN106790693A (zh) 2017-02-20 2017-02-20 一种网络数据包的分析方法及系统

Country Status (1)

Country Link
CN (1) CN106790693A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218338A (zh) * 2017-06-29 2019-01-15 北京京东尚科信息技术有限公司 信息处理系统、方法和装置
WO2019140577A1 (zh) * 2018-01-17 2019-07-25 新联智慧信息技术（深圳）有限公司 大数据的计算方法及系统
CN113098854A (zh) * 2021-03-26 2021-07-09 深信服科技股份有限公司 任务编排方法、系统、存储介质和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007200A (zh) * 2015-07-31 2015-10-28 携程计算机技术（上海）有限公司 网络数据包的分析方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007200A (zh) * 2015-07-31 2015-10-28 携程计算机技术（上海）有限公司 网络数据包的分析方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218338A (zh) * 2017-06-29 2019-01-15 北京京东尚科信息技术有限公司 信息处理系统、方法和装置
CN109218338B (zh) * 2017-06-29 2021-05-25 北京京东尚科信息技术有限公司 信息处理系统、方法和装置
WO2019140577A1 (zh) * 2018-01-17 2019-07-25 新联智慧信息技术（深圳）有限公司 大数据的计算方法及系统
CN113098854A (zh) * 2021-03-26 2021-07-09 深信服科技股份有限公司 任务编排方法、系统、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN106130796B (zh) Sdn网络拓扑流量可视化监控方法及控制终端
CN102377640B (zh) 一种报文处理装置和报文处理方法、及预处理器
CN104283785A (zh) 一种快速处理流表的方法和装置
CN101459618A (zh) 虚拟机网络的数据包转发方法和装置
US20150036513A1 (en) Multicore processing of bidirectional traffic flows
CN107317707B (zh) 一种基于点覆盖集的sdn网络拓扑管理方法
CN108282362B (zh) 一种网络拓扑生成方法、装置和设备
WO2021047011A1 (zh) 数据处理方法及装置、计算机存储介质
CN112583715B (zh) 设备节点连接调整方法及装置
CN111934936B (zh) 网络状态检测方法、装置、电子设备及存储介质
CN103248512A (zh) 通信网络中应用层拓扑结构的生成方法和系统
CN106790693A (zh) 一种网络数据包的分析方法及系统
CN113904921B (zh) 基于日志和图的动态网络拓扑图生成方法、系统、处理设备、存储介质
WO2018107882A1 (zh) 故障定位方法和网络设备
CN105007200B (zh) 网络数据包的分析方法及系统
CN104601380A (zh) 一种软件定义网络控制器及其恢复主机信息的方法
US10320616B2 (en) Method and a system for sideband server management
CN101227265A (zh) 一种设备监控系统中客户端之间数据同步的方法
CN104243220A (zh) 一种系统间关系图生成方法及装置
CN106850268A (zh) 一种线性保护倒换的实现装置及方法
WO2016101600A1 (zh) 线卡的确定、确定处理方法及装置、线卡的确定系统
CN104639557A (zh) 一种建立pcep会话的方法、系统及设备
CN112543145A (zh) 发送数据的设备节点通信路径选择方法及装置
CN101175038B (zh) 一种数据流信息传输的方法、通讯系统及设备
CN106878356B (zh) 一种调度方法及计算节点

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication