CN105007200B - 网络数据包的分析方法及系统 - Google Patents
网络数据包的分析方法及系统 Download PDFInfo
- Publication number
- CN105007200B CN105007200B CN201510465563.2A CN201510465563A CN105007200B CN 105007200 B CN105007200 B CN 105007200B CN 201510465563 A CN201510465563 A CN 201510465563A CN 105007200 B CN105007200 B CN 105007200B
- Authority
- CN
- China
- Prior art keywords
- task
- calculate node
- network packet
- node group
- message queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种网络数据包的分析方法及系统，分析方法包括：获取网络数据包；根据解析对象将该网络数据包的分析内容划分为多个任务，并确定执行顺序；创建与该多个任务一一对应的多个消息队列和多个计算节点组；将该网络数据包缓存至与起始任务对应的消息队列；每个计算节点组依次执行以下动作直至最后一个任务被执行：获取与计算节点组自身对应的消息队列中的所有数据，并执行对应的任务，以及将执行的结果发送至下一个消息队列。与现有相比，本发明中网络数据包的分析内容被拆分为多个任务，并将其分发至不同的计算节点组，以消息队列为核心进行分布式地处理，大大地提高了处理能力，减少了不同计算节点之间的耦合性，实现了水平扩展。
Description
技术领域
本发明涉及网络数据包领域，特别涉及一种网络数据包的分析方法及系统。
背景技术
数据包分析，通常也被称为数据包嗅探或协议分析，指的是捕获和解析网络上在线传输数据的过程，通常目的是为了能更好地了解网络上正在发生的事情。数据包分析技术可以通过以下方法来达到目标：了解网络特征、查看网络上的通信主体、确认谁或是哪些应用在占用网络带宽、识别网络使用的高峰时间、识别可能的攻击或恶意活动、寻找不安全以及滥用网络资源的应用。
随着企业的发展和企业规模的扩大，企业网络流量也随之扩大，传统的网络分析设备已经无法满足大规模内网的网络数据的分析需求。
发明内容
本发明要解决的技术问题是为了克服现有技术中无法满足大规模网络数据的分析需求的缺陷，提供一种能够扩展的、分布式的网络数据包的分析方法及系统。
本发明是通过下述技术方案来解决上述技术问题的：
一种网络数据包的分析方法，其特点在于，包括以下步骤：
S1、获取网络数据包；
S2、根据解析对象将该网络数据包的分析内容划分为多个任务，并确定该多个任务的执行顺序；
S3、创建与该多个任务一一对应的多个消息队列和多个计算节点组，其中，每个计算节点组包括至少一个计算节点；
S4、将该网络数据包缓存至与该多个任务中的起始任务对应的消息队列；
S5、根据该执行顺序每个计算节点组依次执行以下动作直至最后一个任务被执行：获取与计算节点组自身对应的消息队列中的所有数据，并执行与该计算节点组对应的任务，以及将执行的结果发送至下一个任务对应的消息队列。
本方案中，根据解析对象将网络数据包的分析内容划分为多个任务实质上是将分析内容根据解析对象进行归类，根据不同的解析对象可以将分析内容划分为相同或不同的任务，例如可以将解析IP(Internet Protocol，网络协议)地址划分为一个任务，将解析端口信息和协议类型划分为另一个任务。其中，一个任务分别对应一个消息队列和一个计算节点组。按照预先确定的执行顺序，每个计算节点组执行一个任务并将执行的结果追加至下一个消息队列中。
其中，一个计算节点组可以包括一个计算节点，即由一台计算机来执行一个任务。当执行一个任务超过一个计算节点的处理能力时或者为了提高处理速度，一个计算节点组可以包括多个计算节点，即由多台计算机共同执行同一个任务。
本方案中，网络数据包的分析内容被拆分为多个任务，并将其分发至不同的计算节点组进行处理，大大地提高了处理能力，同时还可以实现水平扩展，即计算节点组中计算节点的数量可以根据网络数据包中不同任务的数据量进行扩展。另外，每个计算节点在执行任务时都是从与其对应的消息队列中获取数据，减少了不同计算节点之间的耦合性。
较佳地，当最后一个任务被执行完时，与该最后一个任务对应的计算节点组将执行的结果发送至与该计算节点组对应的消息队列。
本领域的技术人员应当理解，当与最后一个任务对应的计算节点组将执行的结果发送至与其对应的消息队列中时，与最后一个任务对应的消息队列中包含所有任务的执行结果，方便其它系统从该消息队列中获取数据。
另外，当计算节点组执行完最后一个任务时，也可以不将执行的结果发送至消息队列，而是将执行的结果直接保存。
较佳地，该解析对象包括IP地址、端口、网络协议和URL(Uniform ResourceLocator，统一资源定位器)地址。本方案中的解析对象不限于上述四种，可以为网络数据包的其它解析对象。
较佳地，所有的消息队列属于一个集群，所有的计算节点组属于另一个集群。
本发明还提供一种网络数据包的分析系统，其特点在于，包括一主机、一第一集群以及一第二集群，
该主机用于获取网络数据包，并根据解析对象将该网络数据包的分析内容划分为多个任务，以及确定该多个任务的执行顺序；
该第一集群包括与该多个任务一一对应的多个消息队列；
该第二集群包括与该多个任务一一对应的多个计算节点组，其中，每个计算节点组包括至少一个计算节点；
该主机还用于将该网络数据包缓存至与该多个任务中的起始任务对应的消息队列中；
每个计算节点组用于根据该执行顺序依次执行以下动作直至最后一个任务被执行：获取与计算节点组自身对应的消息队列中的所有数据，并执行与该计算节点组对应的任务，以及将执行的结果发送至下一个任务对应的消息队列。
较佳地，与最后一个任务对应的计算节点组用于将执行的结果发送至与该计算节点组对应的消息队列。
较佳地，该解析对象包括IP地址、端口、网络协议和/或URL地址。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：与现有技术相比，本发明中网络数据包的分析内容被拆分为多个任务，并将其分发至不同的计算节点组，以消息队列为核心进行分布式地处理，大大地提高了处理能力，减少了不同计算节点之间的耦合性。同时，还可以实现水平扩展，在硬件资源丰富的情况下可以无限制扩展。
附图说明
图1为本发明实施例的网络数据包的分析系统的结构框图。
图2为本发明实施例的网络数据包的分析方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
一种网络数据包的分析系统，如图1所示，包括主机11、第一集群12以及第二集群13，
主机11用于获取网络数据包，并根据解析对象将该网络数据包的分析内容划分为任务A、B和C，并确定执行顺序依次为任务A、B和C。
具体地，任务A为解析IP地址和端口信息，任务B为解析网络协议，任务C为解析URL地址。
第一集群12包括与任务A一一对应的消息队列QA、与任务B一一对应的消息队列QB以及与任务C一一对应的消息队列QC。
第二集群13包括与任务A一一对应的计算节点组NA、与任务B一一对应的计算节点组NB以及与任务C一一对应的计算节点组NC。其中，计算节点组NA包括计算节点NA1、NA2和NA3，计算节点组NB包括计算节点NB1、NB2和NB3，计算节点组NC包括计算节点NC1和NC2。
主机11还用于将该网络数据包缓存至消息队列QA。
每个计算节点组用于根据该执行顺序获取与计算节点组自身对应的消息队列中的所有数据，并执行与该计算节点组对应的任务，以及将执行的结果发送至下一个任务对应的消息队列，直至任务C被执行。
本实施例还提供一种网络数据包的分析方法，如图2所示，包括以下步骤：
步骤101、获取网络数据包；
步骤102、将该网络数据包的分析内容划分为任务A、B、C，并确定执行顺序依次为任务A、B、C；
步骤103、创建消息队列QA、QB和QC，以及计算节点组NA、NB和NC；
步骤104、将该网络数据包缓存至消息队列QA；
步骤105、计算节点组NA获取消息队列QA中的所有数据，执行任务A，将执行的结果发送至消息队列QB；
步骤106、计算节点组NB获取消息队列QB中的所有数据，执行任务B，将执行的结果发送至消息队列QC；
步骤107、计算节点组NC获取消息队列QC中的所有数据，执行任务C。
其中，任务A分别与消息队列QA和计算节点组NA对应，任务B分别与消息队列QB和计算节点组NB对应，任务C分别与消息队列QC和计算节点组NC对应。步骤107中，计算节点组NC可以将执行的结果发送至与消息队列QC，也可以将执行的结果直接保存。
本实施例中，网络数据包的分析内容被拆分为3个任务，并将其分发至不同的计算节点组，以消息队列为核心进行分布式地处理，大大地提高了处理能力，减少了不同计算节点之间的耦合性。同时还实现了水平扩展，在硬件资源丰富的情况下可以无限制扩展。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (5)
1.一种网络数据包的分析方法，其特征在于，包括以下步骤：
S1、获取网络数据包；
S2、根据解析对象将该网络数据包的分析内容划分为多个任务，并确定该多个任务的执行顺序，该解析对象包括IP地址、端口、网络协议和URL地址；
S3、创建与该多个任务一一对应的多个消息队列和多个计算节点组，其中，每个计算节点组包括至少一个计算节点；
S4、将该网络数据包缓存至与该多个任务中的起始任务对应的消息队列；
S5、根据该执行顺序每个计算节点组依次执行以下动作直至最后一个任务被执行：获取与计算节点组自身对应的消息队列中的所有数据，并执行与该计算节点组对应的任务，以及将执行的结果发送至下一个任务对应的消息队列。
2.如权利要求1所述的分析方法，其特征在于，当最后一个任务被执行完时，与该最后一个任务对应的计算节点组将执行的结果发送至与该计算节点组对应的消息队列。
3.如权利要求1所述的分析方法，其特征在于，所有的消息队列属于一个集群，所有的计算节点组属于另一个集群。
4.一种网络数据包的分析系统，其特征在于，包括一主机、一第一集群以及一第二集群，
该主机用于获取网络数据包，并根据解析对象将该网络数据包的分析内容划分为多个任务，以及确定该多个任务的执行顺序，该解析对象包括IP地址、端口、网络协议和/或URL地址；
该第一集群包括与该多个任务一一对应的多个消息队列；
该第二集群包括与该多个任务一一对应的多个计算节点组，其中，每个计算节点组包括至少一个计算节点；
该主机还用于将该网络数据包缓存至与该多个任务中的起始任务对应的消息队列中；
每个计算节点组用于根据该执行顺序依次执行以下动作直至最后一个任务被执行：获取与计算节点组自身对应的消息队列中的所有数据，并执行与该计算节点组对应的任务，以及将执行的结果发送至下一个任务对应的消息队列。
5.如权利要求4所述的分析系统，其特征在于，与最后一个任务对应的计算节点组用于将执行的结果发送至与该计算节点组对应的消息队列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510465563.2A CN105007200B (zh) | 2015-07-31 | 2015-07-31 | 网络数据包的分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510465563.2A CN105007200B (zh) | 2015-07-31 | 2015-07-31 | 网络数据包的分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105007200A CN105007200A (zh) | 2015-10-28 |
| CN105007200B true CN105007200B (zh) | 2019-08-20 |
Family
ID=54379727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510465563.2A Active CN105007200B (zh) | 2015-07-31 | 2015-07-31 | 网络数据包的分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105007200B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372125A (zh) * | 2016-08-24 | 2017-02-01 | 安阳师范学院 | 一种sna视角下教育技术微博群个案研究模型构建方法 |
| CN106790693A (zh) * | 2017-02-20 | 2017-05-31 | 北京孚耐尔科技有限公司 | 一种网络数据包的分析方法及系统 |
| CN110543364A (zh) * | 2019-07-21 | 2019-12-06 | 聊城市光明医院 | 一种医学影像快速加载方法及系统 |
| CN113098854B (zh) * | 2021-03-26 | 2023-04-07 | 深信服科技股份有限公司 | 任务编排方法、系统、存储介质和电子设备 |
| CN113918295A (zh) * | 2021-10-11 | 2022-01-11 | 深圳赛盒科技有限公司 | 调度方法、装置、计算机存储介质及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104579823A (zh) * | 2014-12-12 | 2015-04-29 | 国家电网公司 | 一种基于大数据流的网络流量异常检测系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103763198B (zh) * | 2013-11-15 | 2016-08-17 | 武汉绿色网络信息服务有限责任公司 | 一种数据包分类方法 |
| CN104394211A (zh) * | 2014-11-21 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种基于Hadoop用户行为分析系统设计与实现方法 |
-
2015
- 2015-07-31 CN CN201510465563.2A patent/CN105007200B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104579823A (zh) * | 2014-12-12 | 2015-04-29 | 国家电网公司 | 一种基于大数据流的网络流量异常检测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105007200A (zh) | 2015-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105007200B (zh) | 网络数据包的分析方法及系统 | |
| CN105989539B (zh) | 一种金融交易行情获取系统以及获取方法 | |
| CN107908690A (zh) | 一种基于大数据运营分析的数据处理方法 | |
| CN103945000B (zh) | 一种负载均衡方法及负载均衡器 | |
| CN102377640B (zh) | 一种报文处理装置和报文处理方法、及预处理器 | |
| CN107241305B (zh) | 一种基于多核处理器的网络协议分析系统及其分析方法 | |
| CN106815254B (zh) | 一种数据处理方法和装置 | |
| CN103067218B (zh) | 一种高速网络数据包内容分析装置 | |
| CN103475586B (zh) | 网络数据报文的转发方法、装置及系统 | |
| CN111181800B (zh) | 测试数据处理方法、装置、电子设备及存储介质 | |
| CN111966289A (zh) | 基于Kafka集群的分区优化方法和系统 | |
| CN104615765A (zh) | 一种移动用户上网记录的数据处理方法及装置 | |
| CN104486116A (zh) | 多维度查询流量数据的方法及系统 | |
| CN106790693A (zh) | 一种网络数据包的分析方法及系统 | |
| US10574765B2 (en) | Method, device, and non-transitory computer-readable recording medium | |
| CN112543145A (zh) | 发送数据的设备节点通信路径选择方法及装置 | |
| CN112583715A (zh) | 设备节点连接调整方法及装置 | |
| CN104113510A (zh) | 虚拟桌面系统及其消息数据的传输方法 | |
| CN111078975B (zh) | 一种多节点增量式数据采集系统及采集方法 | |
| CN113641742A (zh) | 一种数据抽取方法、装置、设备和存储介质 | |
| CN112073318A (zh) | 聚合链路报文发送和接收方法、装置、设备及存储介质 | |
| KR20170130178A (ko) | 분산 환경 기반 빅데이터 실시간 분석을 위한 인-메모리 db 연결 지원형 스케줄링 방법 및 시스템 | |
| CN112527453B (zh) | 虚拟化信息仿真系统、方法及计算机可读存储介质 | |
| CN108718259B (zh) | 一种报文处理方法及多核处理器 | |
| CN114035906A (zh) | 虚拟机迁移方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160302 Address after: 200335 Shanghai city Changning District Admiralty Road No. 968 Building No. 16 10 floor Applicant after: SHANGHAI XIECHENG BUSINESS CO., LTD. Address before: 200335 Shanghai City, Changning District Fuquan Road No. 99, Ctrip network technology building Applicant before: Ctrip computer technology (Shanghai) Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |